Les estimations des coefficients de régression ne sont-elles pas corrélées?

Considérons une régression simple (normalité non supposée): où est avec la moyenne et l'écart type . Les estimations des moindres carrés de et ne sont-elles pas corrélées?

Y_{i} = a + b X_{i} + e_{i},

$Y_i = a + b X_i + e_i,$

e_{i}

$e_i$

0

$0$

σ

$\sigma$

a

$a$

b

$b$

regression correlation estimation

— Arnab
source

Qu'est-ce que tu penses? en.wikipedia.org/wiki/Ordinary_least_squares , section "Propriétés des échantillons finis". Cette question a reçu plusieurs réponses sur ce site.

— mpiktas

$\hat a$ $\hat b$ $X_i$

$X_i$ $(1,X_i)$ $2$ $X$ $Y_i$ $y$ $\beta = (a,b)^\prime$

E (Y) = X \cdot β

$\mathbb{E}(Y) = X \cdot \beta$

$Y_i$ $\sigma^2$ $\sigma \gt 0$ $y$ $Y$

La solution OLS est

\hat{β} = {(X^{'} X)}^{- 1} X^{'} y,

$\hat\beta = \left(X^\prime X\right)^{-1} X^\prime y,$

en supposant que cette matrice inverse existe. Ainsi, en utilisant les propriétés de base de la multiplication matricielle et de la covariance,

Cov (\hat{β}) = Cov ({(X^{'} X)}^{- 1} X^{'} Y) = ({(X^{'} X)}^{- 1} X^{'} σ^{2} X {(X^{'} X)}^{- 1'}) = σ^{2} {(X^{'} X)}^{- 1} .

$\text{Cov}(\hat\beta) = \text{Cov}\left(\left(X^\prime X\right)^{-1} X^\prime Y\right) = \left(\left(X^\prime X\right)^{-1} X^\prime\sigma^2 X \left( X^\prime X \right)^{-1\prime} \right) = \sigma^2 \left(X^\prime X\right)^{-1}.$

$\left(X^\prime X\right)^{-1}$ $(a,b)$ $\hat a$ $\hat b$ $(X^\prime X)^{-1},$ $X$ $1$ $X_i$

$\hat a$ $\hat b$ $X_i$

$X_i$ $\hat b$ $\hat a$

$p+1$ $p$ $1$ $\beta$ $p+1$

$X$ $X$ $i$ $i$ $i$ $(X^\prime X)^{-1}$ $ij$ $ji$ $j\ne i$

$\hat\beta_i$ $\hat\beta_j$

De nombreux plans expérimentaux standard consistent à choisir les valeurs des variables indépendantes pour rendre les colonnes mutuellement orthogonales. Cela «sépare» les estimations obtenues en garantissant - avant toute collecte de données! - que les estimations ne seront pas corrélées. (Lorsque les réponses ont des distributions normales, cela implique que les estimations seront indépendantes, ce qui simplifie considérablement leur interprétation.)

— whuber
source

X^{'} X

$X'X$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

@Heisenberg C'est un bon point. Je n'étais pas clair à ce sujet. Il n'y a pas d'ambiguïté dans le cas de deux colonnes, mais je dois réfléchir à l'amélioration de la présentation pour le cas de plusieurs colonnes.

— whuber

@Heisenberg Je vous remercie pour votre observation perspicace: elle m'a permis de corriger une erreur substantielle dans la discussion du cas de régression multiple.

— whuber