L'ordre des variables explicatives importe-t-il lors du calcul de leurs coefficients de régression?

Au début, je pensais que l'ordre n'avait pas d'importance, mais j'ai ensuite lu au sujet du processus d'orthogonalisation gram-schmidt pour calculer les coefficients de régression multiple, et maintenant j'ai des doutes.

Selon le processus gram-schmidt, plus une variable explicative est indexée tardivement parmi les autres variables, plus son vecteur résiduel est petit car les vecteurs résiduels des variables précédentes lui sont soustraits. Par conséquent, le coefficient de régression de la variable explicative est également plus petit.

Si cela est vrai, le vecteur résiduel de la variable en question serait plus grand si elle était indexée plus tôt, car moins de vecteurs résiduels en seraient soustraits. Cela signifie que le coefficient de régression serait également plus élevé.

Ok, donc on m'a demandé de clarifier ma question. J'ai donc posté des captures d'écran du texte qui m'ont confus en premier lieu. Ok, c'est parti.

Je crois comprendre qu'il existe au moins deux options pour calculer les coefficients de régression. La première option est notée (3.6) dans la capture d'écran ci-dessous.

Voici la deuxième option (j'ai dû utiliser plusieurs captures d'écran).

À moins que je ne lise quelque chose (ce qui est certainement possible), il semble que l'ordre compte dans la deuxième option. Est-ce important dans la première option? Pourquoi ou pourquoi pas? Ou mon cadre de référence est-il tellement foiré que ce n'est même pas une question valable? En outre, est-ce que tout cela est en quelque sorte lié à la somme des carrés de type I par rapport à la somme des carrés de type II?

Merci d'avance, je suis tellement confus!

Je crois que la confusion peut provenir de quelque chose d'un peu plus simple, mais cela offre une belle occasion d'examiner certaines questions connexes.

Notez que le texte ne prétend pas que tous les coefficients de régression peut être calculé via les vecteurs résiduels successifs comme mais plutôt que seul le dernier , , peut être calculé de cette façon! β i ? = ⟨Y,zi$\newcommand{\bhat}{\hat{\beta}}\newcommand{\m}{\mathbf}\newcommand{\z}{\m{z}}\bhat_i$Β

$$\bhat_i \stackrel{?}{=} \frac{\langle \m y, \z_i \rangle}{\|\z_i\|^2}\>,$$ $\bhat_p$

Le schéma d'orthogonalisation successif (une forme d'orthogonalisation de Gram – Schmidt) produit (presque) une paire de matrices et tel que où est avec des colonnes orthonormées et est triangulaire supérieur. Je dis "presque" puisque l'algorithme ne spécifie que jusqu'aux normes des colonnes, qui ne seront généralement pas une, mais peut être faite pour avoir une norme d'unité en normalisant les colonnes et en faisant un simple ajustement correspondant à la coordonnée matrice .G X = Z $\newcommand{\Z}{\m{Z}}\newcommand{\G}{\m{G}}\Z$$\G$Z n × p G = ( g i j ) p × p Z

$$\m X = \Z \G \>,$$ $\Z$$n \times p$$\G = (g_{ij})$$p \times p$$\Z$$\G$

En supposant, bien sûr, que a le rang , la solution unique des moindres carrés est le vecteur qui résout le système $\m X \in \mathbb R^{n \times p}$β X T X β = X T $p \leq n$$\bhat$

$$\m X^T \m X \bhat = \m X^T \m y \>.$$

En substituant et en utilisant (par construction), on obtient ce qui équivaut à Z T Z = I G T G β = G T Z T $\m X = \Z \G$$\Z^T \Z = \m I$G β = Z T

$$\G^T \G \bhat = \G^T \Z^T \m y \> ,$$ $$\G \bhat = \Z^T \m y \>.$$

Maintenant, concentrez-vous sur la dernière ligne du système linéaire. Le seul élément non nul de dans la dernière ligne est . Donc, nous obtenons cela Il n'est pas difficile de voir (vérifier cela comme une vérification de la compréhension!) Queet donc cela donne la solution. ( Caveat lector : J'ai utilisé déjà normalisé pour avoir la norme d'unité, alors que dans le livre ils ne l' ont pas . Cela explique le fait que le livre a une norme au carré dans le dénominateur, alors que je n'ai que la norme.)g p p g p p β p = ⟨ y , z p$\G$$g_{pp}$g p p = ‖ z p ‖ z

$$g_{pp} \bhat_p = \langle \m y, \z_p \rangle \>.$$ $g_{pp} = \|\z_p\|$$\z_i$

Pour trouver tous les coefficients de régression, il faut faire une simple étape de substitution pour résoudre pour l'individu . Par exemple, pour la ligne , et ainsi On peut continuer cette procédure en travaillant "en arrière" de la dernière ligne du système jusqu'à la première, en soustrayant les sommes pondérées des coefficients de régression déjà calculés puis en les divisant par le terme principal pour obtenir .$\bhat_i$$(p-1)$

$$g_{p-1,p-1} \bhat_{p-1} + g_{p-1,p} \bhat_p = \langle \m z_{p-1}, \m y \rangle \>,$$ $$\bhat_{p-1} = g_{p-1,p-1}^{-1} \langle \m z_{p-1}, \m y \rangle \> - g_{p-1,p-1}^{-1} g_{p-1,p} \bhat_p .$$ $g_{ii}$$\bhat_i$

Le point dans la section en ESL est que nous pourrions réorganiser les colonnes de pour obtenir une nouvelle matrice avec la e colonne d'origine étant maintenant la dernière. Si nous appliquons ensuite la procédure de Gram – Schmidt sur la nouvelle matrice, nous obtenons une nouvelle orthogonalisation telle que la solution du coefficient d'origine est trouvée par la solution simple ci-dessus. Cela nous donne une interprétation du coefficient de régression . Il s'agit d'une régression univariée de sur le vecteur résiduel obtenu en "régressant" les colonnes restantes de la matrice de conception à partir de .$\m X$$\m X^{(r)}$$r$$\bhat_r$$\bhat_r$$\m y$$\m x_r$

Décompositions QR générales

La procédure de Gram-Schmidt est qu'un procédé de production d' une décomposition QR de . En effet, il existe de nombreuses raisons de préférer d'autres approches algorithmiques à la procédure de Gram – Schmidt.$\m X$

Les réflexions des ménages et les rotations de Givens fournissent des approches plus stables numériquement à ce problème. Notez que le développement ci-dessus ne change pas dans le cas général de la décomposition QR. A savoir, que soit toute décomposition QR de . Ensuite, en utilisant exactement le même raisonnement et les mêmes manipulations algébriques que ci-dessus, nous avons que la solution des moindres carrés satisfait ce qui simplifie en Puisque est triangulaire supérieur, alors la même technique de rétro-substitution fonctionne. Nous résolvons d'abord pour

$$\m X = \m Q \m R \>,$$ $\m X$$\bhat$ $$\m R^T \m R \bhat = \m R^T \m Q^T \m y \>,$$ $$\m R \bhat = \m Q^T \m y \> .$$ $\m R$$\bhat_p$puis remontez de bas en haut. Le choix pour lequel l' algorithme QR décomposition à utiliser généralement des charnières sur le contrôle de l' instabilité numérique et, dans cette perspective, Gram-Schmidt est généralement pas une approche concurrentielle.

Cette notion de décomposition de en une matrice orthogonale fois quelque chose d'autre peut également être généralisée un peu plus loin pour obtenir une forme très générale pour le vecteur ajusté , mais je crains que cette réponse soit déjà devenue trop longue .$\m X$$\hat{\m y}$

J'ai parcouru le livre et il semble que l'exercice 3.4 pourrait être utile pour comprendre le concept d'utilisation de GS pour trouver tous les coefficients de régression (pas seulement le coefficient final - j'ai donc tapé une solution. J'espère que c'est utile.$\beta_j$$\beta_p$

Exercice 3.4 en ESL

Montrer comment le vecteur des coefficients des moindres carrés peut être obtenu à partir d'un seul passage de la procédure de Gram-Schmidt. Représentez votre solution en termes de la décomposition QR de . $X$

Solution

Rappelons qu'en un seul passage de la procédure de Gram-Schmidt, nous pouvons écrire notre matrice sous la forme où contient les colonnes orthogonales , et est une matrice diagonale supérieure avec celles sur la diagonale, et . Ceci reflète le fait que, par définition,$X$

$$X = Z \Gamma,$$ $Z$$z_j$$\Gamma$$\gamma_{ij} = \frac{\langle z_i, x_j \rangle}{\| z_i \|^2}$ $$x_j = z_j + \sum_{k=0}^{j-1} \gamma_{kj} z_k.$$

Maintenant, par la décomposition , nous pouvons écrire , où est une matrice orthogonale et est une matrice triangulaire supérieure. Nous avons et , où est une matrice diagonale avec. $QR$$X = QR$$Q$$R$$Q = Z D^{-1}$$R = D\Gamma$$D$$D_{jj} = \| z_j \|$

Maintenant, par définition de , nous avons Maintenant, en utilisant la décomposition , nous avons$\hat \beta$

$$(X^T X) \hat \beta = X^T y.$$ $QR$ $$\begin{align*} (R^T Q^T) (QR) \hat \beta &= R^T Q^T y \\ R \hat \beta &= Q^T y \end{align*}$$

$R$ est triangulaire supérieur, nous pouvons écrire conformément à nos résultats précédents. Maintenant, par substitution , nous pouvons obtenir la séquence des coefficients de régression . Par exemple, pour calculer , nous avons

$$\begin{align*} R_{pp} \hat \beta_p &= \langle q_p, y \rangle \\ \| z_p \| \hat \beta_p &= \| z_p \|^{-1} \langle z_p, y \rangle \\ \hat \beta_p &= \frac{\langle z_p, y \rangle}{\| z_p \|^2} \end{align*}$$ $\hat \beta_j$$\hat \beta_{p-1}$ $$\begin{align*} R_{p-1, p-1} \hat \beta_{p-1} + R_{p-1,p} \hat \beta_p &= \langle q_{p-1}, y \rangle \\ \| z_{p-1} \| \hat \beta_{p-1} + \| z_{p-1} \| \gamma_{p-1,p} \hat \beta_p &= \| z_{p-1} \|^{-1} \langle z_{p-1}, y \rangle \end{align*}$$ puis résoudre pour . Ce processus peut être répété pour tous les , obtenant ainsi les coefficients de régression en un seul passage de la procédure de Gram-Schmidt.$\hat \beta_{p-1}$$\beta_j$

Pourquoi ne pas l'essayer et comparer? Ajustez un ensemble de coefficients de régression, puis changez l'ordre et ajustez-les à nouveau et voyez s'ils diffèrent (autre qu'une erreur d'arrondi possible).

Comme le souligne @mpiktas, ce que vous faites n'est pas vraiment clair.

Je peux voir en utilisant GS pour résoudre dans l'équation des moindres carrés . Mais alors vous feriez le GS sur la matrice , pas les données originales. Dans ce cas, les coefficients doivent être les mêmes (à part une possible erreur d'arrondi).$B$$(x'x)B=(x'y)$$(x'x)$

Une autre approche de GS en régression consiste à appliquer GS aux variables prédictives pour éliminer la colinéarité entre elles. Ensuite, les variables orthogonalisées sont utilisées comme prédicteurs. Dans ce cas, l'ordre est important et les coefficients seront différents car l'interprétation des coefficients dépend de l'ordre. Considérez 2 prédicteurs et et faites des GS sur eux dans cet ordre, puis utilisez-les comme prédicteurs. Dans ce cas, le premier coefficient (après l'ordonnée à l'origine) montre l'effet de sur par lui-même et le deuxième coefficient est l'effet de sur après ajustement pour$x_1$$x_2$$x_1$$y$$x_2$$y$$x_1$. Maintenant, si vous inversez l'ordre des x, le premier coefficient montre l'effet de sur par lui-même (ignorant plutôt que de l'ajuster) et le second est l'effet de s'ajustant pour .$x_2$$y$$x_1$$x_1$$x_2$