Quelles sont les conséquences d'une variance non constante des termes d'erreur dans la régression linéaire?

L'une des hypothèses de régression linéaire est qu'il devrait y avoir une variance constante dans les termes d'erreur et que les intervalles de confiance et les tests d'hypothèse associés au modèle reposent sur cette hypothèse. Que se passe-t-il exactement lorsque les termes d'erreur n'ont pas de variance constante?

— Kira
source

Les conséquences de l'hétéroscédasticité sont:

L'estimateur des moindres carrés ordinaires (OLS) est toujours cohérent mais il n'est plus efficace . $\hat{\mathbf{b}} = \left(X'X \right)X'\mathbf{y}$
L'estimation où n'est plus un estimateur cohérent pour la matrice de covariance de votre estimateur . Il peut être à la fois biaisé et incohérent. Et en pratique, il peut sous-estimer considérablement la variance. $\hat{\mathrm{Var}}\left(\mathbf{b} \right) = \left( X'X\right)^{-1} \hat{\sigma}^2$ $\hat{\sigma}^2 = \frac{1}{n-k} \mathbf{e'}{\mathbf{e}}$ $\hat{\mathbf{b}}$

Le point (1) n'est peut-être pas un problème majeur; les gens utilisent souvent de toute façon l'estimateur OLS ordinaire. Mais le point (2) doit être traité. Que faire?

Vous avez besoin d' erreurs standard cohérentes avec l'hétéroscédasticité . L'approche standard consiste à s'appuyer sur des hypothèses à large échantillon, des résultats asymptotiques et à estimer la variance de utilisant: $\mathbf{b}$

\hat{V a r} (b) = \frac{1}{n} {(\frac{X^{'} X}{n})}^{- 1} S {(\frac{X^{'} X}{n})}^{- 1}

$\hat{\mathrm{Var}}\left(\mathbf{b}\right)=\frac{1}{n}\left( \frac{X'X}{n} \right)^{-1} S \left( \frac{X'X}{n} \right)^{-1}$ où est estimé comme .

S

$S$

S = \frac{1}{n - k} \sum_{i} (x_{i} e_{i}) {(x_{i} e_{i})}^{'}

$S = \frac{1}{n-k}\sum_i \left(\mathbf{x}_i e_i\right) \left(\mathbf{x}_i e_i \right)'$

Cela donne des erreurs standard cohérentes avec l'hétéroskédasticité. Ils sont également connus sous le nom d'erreurs standard Huber-White, d'erreurs standard robustes, d'estimateur "sandwich", etc. Utilise le!

Quelques commentaires supplémentaires (mise à jour)

Si l'hétéroskédasticité est suffisamment grande, l'estimation OLS régulière peut avoir de gros problèmes pratiques. Bien qu'il s'agisse toujours d'un estimateur cohérent, il se peut que vous ayez de petits problèmes d'échantillon où votre estimation entière est motivée par quelques observations de variance élevée. (C'est ce à quoi @ seanv507 fait allusion dans les commentaires). L'estimateur OLS est inefficace en ce qu'il donne plus de poids aux observations à variance élevée qu'optimales. L'estimation peut être extrêmement bruyante.

Un problème pour essayer de corriger l'inefficacité est que vous ne connaissez probablement pas non plus la matrice de covariance pour les termes d'erreur, donc l'utilisation de quelque chose comme GLS peut aggraver les choses si votre estimation du terme d'erreur matrice de covariance est une ordure.

De plus, les erreurs standard Huber-White que je donne ci-dessus peuvent avoir de gros problèmes dans de petits échantillons. Il existe une longue littérature sur ce sujet. Par exemple. voir Imbens et Kolesar (2016), «Robust Standard Errors in Small Samples: Some Practical Advice».

Orientation à poursuivre:

S'il s'agit d'une auto-étude, la prochaine chose pratique à considérer est les erreurs standard groupées. Ceux-ci corrigent la corrélation arbitraire au sein des clusters.

— Matthew Gunn
source

Matthew - Je pense que des problèmes plus pratiques clarifieraient le point (1). Par exemple, l'estimateur ne serait-il pas «biaisé» vers les régions présentant une variance plus élevée? - ce qui serait un problème plus important si ces régions étaient loin de la moyenne, ce qui entraînait un effet de levier élevé.

— seanv507

L'hétéroskédasticité @ seanv507 ne biaise pas l'estimation OLS. Je pense que vous faites référence à l'inefficacité. En pondérant également les observations à variance élevée et les observations à faible variance, l'estimateur OLS présente une variance plus élevée que celle théoriquement réalisable avec quelque chose comme la pondération de variance inverse . Que vous souhaitiez utiliser vos estimations de dans la phase d'estimation (c'est-à-dire pour estimer ) dépend de ce que vous croyez savoir .

σ_{i}^{2}

$\sigma^2_i$

b

$\mathbf{b}$

σ_{i}^{2}

$\sigma^2_i$

— Matthew Gunn

Matthew, je sais que ça n'introduit pas de parti pris (je m'excuse [à vous et OP] d'avoir utilisé le terme entre guillemets :) Je ne pouvais pas penser au terme approprié). Mais j'essaie de tirer les implications pratiques (et de suggérer que le PO veut les comprendre) - quand / pourquoi le point (1) n'est pas un problème majeur. Ne seriez-vous pas d'accord que l'effet est dépend davantage de la région à forte variance que ce que vous pourriez espérer / vouloir intuitivement. régions de variance).

b

$\mathbb b$

— seanv507

@ seanv507 n'hésitez pas à ajouter votre propre réponse!

— Matthew Gunn

Au lieu d'utiliser des erreurs standard robustes à l'hétéroscédasticité (que Ed Leamer dans son article de 2010 "Tantale sur la route de l'asymptopie" appelle White-washing ), on pourrait également essayer de corriger les estimations ponctuelles (avec l'estimation de la variance) de l'hétéroskédasticité en WLS. Cela pourrait valoir la peine d'être mentionné dans votre réponse.

— Richard Hardy

Eh bien, la réponse courte est que votre modèle est faux, c'est-à-dire

Pour que les moindres carrés ordinaires à la B EST L Ecouteur U nbiased E stimator la variance constante des termes d'erreur est supposée.
Les hypothèses de Gauss-Markov - si elles sont remplies - vous garantissent que l'estimateur des moindres carrés pour les coefficients est sans biais et a une variance min parmi tous les estimateurs linéaires sans biais. $\beta$

Ainsi, en cas d'hétéroscédasticité, des problèmes d'estimation de la matrice de variance-covariance se produisent, ce qui conduit à de mauvaises erreurs standard des coefficients, ce qui conduit à son tour à de mauvaises statistiques t et valeurs p. En bref, si vos termes d'erreur n'ont pas de variance constante, les moindres carrés ordinaires ne sont pas le moyen le plus efficace d'estimation. Jetez un oeil à cette question connexe.

— davidski
source

L '«hétéroscédasticité» rend difficile l'estimation de l'écart-type réel des erreurs de prévision. Cela peut conduire à des intervalles de confiance trop larges ou trop étroits (en particulier, ils seront trop étroits pour les prédictions hors échantillon, si la variance des erreurs augmente avec le temps).

De plus, le modèle de régression peut se concentrer trop fortement sur un sous-ensemble de données.

Bonne référence: tester les hypothèses de régression linéaire

— oW_
source