Les estimations des coefficients de régression ne sont-elles pas corrélées?


11

Considérons une régression simple (normalité non supposée): où e i est avec la moyenne 0 et l'écart type σ . Les estimations des moindres carrés de a et b ne sont-elles pas corrélées?

Yi=a+bXi+ei,
ei0σab

2
Qu'est-ce que tu penses? en.wikipedia.org/wiki/Ordinary_least_squares , section "Propriétés des échantillons finis". Cette question a reçu plusieurs réponses sur ce site.
— mpiktas

Réponses:


15

a^b^Xi


Xi(1,Xi)2XYiyβ=(a,b)′

E(Y)=X⋅β

Yiσ2σ>0yY

La solution OLS est

β^=(X′X)−1X′y,

en supposant que cette matrice inverse existe. Ainsi, en utilisant les propriétés de base de la multiplication matricielle et de la covariance,

Cov(β^)=Cov((X′X)−1X′Y)=((X′X)−1X′σ2X(X′X)−1′)=σ2(X′X)−1.

(X′X)−1(a,b)a^b^(X′X)−1,X1Xi

a^b^Xi

Xib^a^


p+1p1βp+1

XXiii(X′X)−1ijjij≠i

β^iβ^j

De nombreux plans expérimentaux standard consistent à choisir les valeurs des variables indépendantes pour rendre les colonnes mutuellement orthogonales. Cela «sépare» les estimations obtenues en garantissant - avant toute collecte de données! - que les estimations ne seront pas corrélées. (Lorsque les réponses ont des distributions normales, cela implique que les estimations seront indépendantes, ce qui simplifie considérablement leur interprétation.)


X′X(X′X)−1

@Heisenberg C'est un bon point. Je n'étais pas clair à ce sujet. Il n'y a pas d'ambiguïté dans le cas de deux colonnes, mais je dois réfléchir à l'amélioration de la présentation pour le cas de plusieurs colonnes.
— whuber

@Heisenberg Je vous remercie pour votre observation perspicace: elle m'a permis de corriger une erreur substantielle dans la discussion du cas de régression multiple.
— whuber
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.