Moindres carrés généralisés: des coefficients de régression aux coefficients de corrélation?

Pour les moindres carrés avec un prédicteur:

$y = \beta x + \epsilon$

Si et sont normalisés avant l'ajustement (c'est-à-dire ), alors:$x$$y$$\sim N(0,1)$

• $\beta$ est le même que le coefficient de corrélation de Pearson, .$r$
• $\beta$ est le même dans la régression réfléchie:$x = \beta y + \epsilon$

Pour les moindres carrés généralisés (GLS), est-ce la même chose? Autrement dit, si je standardise mes données, puis-je obtenir des coefficients de corrélation directement à partir des coefficients de régression?

De l'expérimentation de données, le GLS réfléchi conduit à différents coefficients et je ne suis pas sûr non plus de croire que les coefficients de régression correspondent à mes valeurs attendues pour la corrélation. Je sais que les gens citent des coefficients de corrélation GLS, donc je me demande comment ils y parviennent et donc ce qu'ils signifient vraiment?$\beta$

La réponse est oui, les coefficients de régression linéaire sont les corrélations des prédicteurs avec la réponse, mais uniquement si vous utilisez le bon système de coordonnées .

Pour voir ce que je veux dire, rappelez-vous que si et y sont centrés et normalisés, alors la corrélation entre chaque x i et y n'est que le produit scalaire x t i y . De plus, la solution des moindres carrés à la régression linéaire est$x_1, x_2, \ldots, x_n$$y$$x_i$$y$$x_i^t y$

$$\beta = (X^t X)^{-1} X^t y$$

S'il arrive que (la matrice d'identité) alors$X^{t} X = I$

$$\beta = X^t y$$

et nous récupérons le vecteur de corrélation. Il est souvent intéressant de refondre un problème de régression en termes de prédicteurs qui satisfont en trouvant des combinaisons linéaires appropriées des prédicteurs originaux qui rendent cette relation vraie (ou de manière équivalente, un changement linéaire de coordonnées); ces nouveaux prédicteurs sont appelés les principaux composants.$\tilde{x}_i$$\tilde{X}^t \tilde{X} = I$

Donc, dans l'ensemble, la réponse à votre question est oui, mais uniquement lorsque les prédicteurs sont eux-mêmes non corrélés . Sinon, l'expression

$$X^t X \beta = X^t y$$

montre que les bêtas doivent être mélangés avec les correllations entre les prédicteurs eux-mêmes pour récupérer les corrélations prédicteur-réponse.

En remarque, cela explique également pourquoi le résultat est toujours vrai pour une régression linéaire variable. Une fois le vecteur prédicteur normalisé, alors:$x$

$$x_0^t x = \sum_i x_{i} = 0$$

où est le vecteur d'interception de tous les uns. Ainsi, la matrice de données (à deux colonnes) satisfait automatiquement , et le résultat suit.$x_0$$X$$X^t X = I$