Intuition de l'estimateur sandwich

Wikipedia et la vignette du package sandwich R donnent de bonnes informations sur les hypothèses supportant les erreurs standard des coefficients OLS et le contexte mathématique des estimateurs sandwich. Je ne sais toujours pas comment le problème de l'hétéroscédasticité résiduelle est abordé, probablement parce que je ne comprends pas complètement l'estimation de la variance des coefficients OLS standard en premier lieu.

Quelle est l'intuition derrière l'estimateur sandwich?

— Robert Kubrick
source

Vous devez en savoir plus sur l' estimation (ou estimation extremum, comme on l'appelle parfois en économétrie). L'estimateur sandwich pour la régression n'est qu'un cas particulier d'une formule de méthode delta très générale, et si vous comprenez la dernière, vous n'aurez aucun problème avec la première. Il n'y a aucune intuition dans la mesure où l'estimateur sandwich n'essaie pas de modéliser l'hétéroskédasticité ni de faire quoi que ce soit de spécifique à ce sujet; il s'agit simplement d'un estimateur de variance différent qui fonctionne avec un ensemble d'hypothèses plus général que l'estimateur OLS standard.

M

$M$

— StasK

@StasK Merci! Connaissez-vous une bonne ressource particulière sur les formules d'estimation M et de méthode delta?

— Robert Kubrick

La monographie de "Robust Statistics" de @Robert Huber mérite le détour.

— Momo

Pour OLS, vous pouvez imaginer que vous utilisez la variance estimée des résidus (sous l'hypothèse d'indépendance et d'homoscédasticité) comme estimation de la variance conditionnelle des s. Dans l'estimateur basé sur un sandwich, vous utilisez les résidus carrés observés comme une estimation plug-in de la même variance qui peut varier entre les observations. $Y_i$

var (\hat{β}) = {(X^{T} X)}^{- 1} (X^{T} diag (var (Y | X)) X) {(X^{T} X)}^{- 1}

$\begin{equation} \mbox{var}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(\mbox{var}\left(Y|X\right)\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

Dans l'estimation de l'erreur standard des moindres carrés ordinaires pour l'estimation du coefficient de régression, la variance conditionnelle du résultat est traitée comme constante et indépendante, de sorte qu'elle peut être estimée de manière cohérente.

{\hat{var}}_{O L S} (\hat{β}) = {(X^{T} X)}^{- 1} (r^{2} X^{T} X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{OLS}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(r^2X^TX\right)\left(X^TX\right)^{-1} \end{equation}$

Pour le sandwich, nous évitons une estimation cohérente de la variance conditionnelle et utilisons plutôt une estimation plug-in de la variance de chaque composante en utilisant le carré résiduel

{\hat{var}}_{R S E} (\hat{β}) = {(X^{T} X)}^{- 1} (X^{T} diag (r_{je}^{2}) X) {(X^{T} X)}^{- 1}

$\begin{equation} \widehat{\mbox{var}}_{RSE}\left(\hat{\beta}\right) = \left(X^TX\right)^{-1}\left(X^T\mbox{diag}\left(r_i^2\right)X\right)\left(X^TX\right)^{-1} \end{equation}$

En utilisant l'estimation de la variance du plug-in, nous obtenons des estimations cohérentes de la variance de par le théorème de limite centrale de Lyapunov. $\hat{\beta}$

Intuitivement, ces résidus carrés observés épongeront toute erreur inexpliquée due à une hétéroscédasticité qui aurait autrement été inattendue dans l'hypothèse d'une variance constante.

— AdamO
source

C'est votre dernier paragraphe que j'ai du mal à saisir. Pouvez-vous illustrer?

— Robert Kubrick

Ce n'est pas SE dans vos formules, AdamO, c'est SE ^ 2 ... de quelque manière que ce soit dans la matrice que vous allez dire.

— StasK

@StasK Bon point. Peut-être qu'un chapeau de variance est mieux. Je confondais la terminologie multivariée et univariée.

— AdamO

@RobertKubrick Dans le dernier paragraphe, je souligne que la principale différence entre les estimateurs est la façon dont nous représentons le terme de variance conditionnelle . Dans le modèle de régression linéaire, nous estimons systématiquement les résidus, mais avec le sandwich, nous utilisons simplement une estimation plug-in de la variance conditionnelle pour le ème terme en utilisant les résidus au carré. En présence d'hétéroscédasticité, les points avec des résidus carrés relativement importants ont une grande variance estimée correspondante, ce qui réduit leur influence sur les estimations d'erreur standard.

var (Y | X)

$\mbox{var}(Y|X)$

i

$i$

— AdamO

Edit: J'ai dit que les estimations var OLS impliquaient des "estimations cohérentes des résidus", quand je voulais dire "estimation cohérente de la variance des résidus".

— AdamO