Autre manière de dériver les coefficients OLS

Dans une autre de mes questions , un répondeur a utilisé la dérivation suivante du coefficient OLS:

Nous avons un modèle: où n'est pas observé. Ensuite, nous avons:
$Y = X_{1} β + X_{2} β_{2} + Z γ + ε,$ $Y = X_1 \beta + X_2 \beta_2 + Z \gamma + \varepsilon,$ $Z$ oùet. $plim {\hat{β}}_{1} = β_{1} + γ \frac{C o v (X_{1}^{*}, Z)}{V a r (X_{1}^{*})} = β_{1},$ $\text{plim}\, \hat \beta_{1} = \beta_1 + \gamma \frac{Cov(X_1^*, Z)}{Var(X_1^*)} = \beta_1,$ $X_1^* = M_2 X_1$ $M_2 = [I - X_2(X_2'X_2)^{-1}X_2']$

Cela semble différent de l'habituel que j'ai vu en économétrie. Existe-t-il une explication plus explicite de cette dérivation? Y a-t-il un nom pour la matrice ? $\beta = (X'X)^{-1}X'Y$ $M_2$

econometrics regression

— Heisenberg
source

Je suis presque sûr que c'est décrit dans les notes de cours de Hansen, mais je ne les ai pas en main pour le moment.

— FooBar

Le matrice est la matrice "annulateur" ou "machine résiduelle" associé à la matrice . Il est appelé "annihilateur" car (pour sa propre matrice bien sûr). Est -ce que l' on appelle "faiseur résiduel" parce que , dans la régression . $\mathbf M = \mathbf I-\mathbf X(\mathbf X'\mathbf X)^{-1}\mathbf X'$ $\mathbf X$ $\mathbf M\mathbf X =0$ $X$ $\mathbf M \mathbf y =\mathbf {\hat e}$ $\mathbf y = \mathbf X \beta + \mathbf e$

C'est une matrice symétrique et idempotente. Il est utilisé dans la démonstration du théorème de Gauss-Markov.

En outre, il est utilisé dans le théorème de Frisch – Waugh – Lovell , à partir duquel on peut obtenir des résultats pour la "régression partitionnée", qui dit que dans le modèle (sous forme matricielle)

y = X_{1} β_{1} + X_{2} β_{2} + u

$\mathbf y = \mathbf X_1\beta_1 + \mathbf X_2\beta_2 + \mathbf u$

nous avons ça

{\hat{β}}_{1} = (X_{1}^{'} M_{2} X_{1})^{- 1} (X_{1}^{'} M_{2}) y

$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2)\mathbf y$

Puisque est idempotent, nous pouvons réécrire ce qui précède en $\mathbf M_2$

{\hat{β}}_{1} = (X_{1}^{'} M_{2} M_{2} X_{1})^{- 1} (X_{1}^{'} M_{2} M_{2}) y

$\hat \beta_1 = (\mathbf X_1'\mathbf M_2\mathbf M_2\mathbf X_1)^{-1}(\mathbf X_1'\mathbf M_2\mathbf M_2)\mathbf y$

et puisque est également symétrique, nous avons $M_2$

{\hat{β}}_{1} = ([M_{2} X_{1}]^{'} [M_{2} X_{1}])^{- 1} ([M_{2} X_{1}]^{'} [M_{2} y]

$\hat \beta_1 = ([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf X_1])^{-1}([\mathbf M_2\mathbf X_1]'[\mathbf M_2\mathbf y]$

Mais c'est l'estimateur des moindres carrés du modèle

[M_{2} y] = [M_{2} X_{1}] β_{1} + M_{2} u

$[\mathbf M_2\mathbf y] = [\mathbf M_2\mathbf X_1]\beta_1 + \mathbf M_2\mathbf u$

et aussi sont les résidus de régression uniquement sur la matrice . $\mathbf M_2\mathbf y$ $\mathbf y$ $\mathbf X_2$

En d' autres termes: 1) Si on régresse sur la matrice uniquement, puis régressent les résidus de cette estimation sur la matrice uniquement, les estimations que nous obtiendrons sera mathématiquement égale aux estimations que nous sera obtenu si nous régressons sur et ensemble en même temps, comme une régression multiple habituelle. $\mathbf y$ $\mathbf X_2$ $\mathbf M_2\mathbf X_1$ $\hat \beta_1$ $\mathbf y$ $\mathbf X_1$ $\mathbf X_2$

Maintenant, supposons que n'est pas une matrice mais juste un régresseur, disons $\mathbf X_1$ . Alors est le résidu de régression de la variable sur la matrice de régresseur . Et cela donne l'intuition nous donne l'effet que « la partie de qui est expliquée par » a sur « la partie de qui reste inexpliquée par ». $\mathbf x_1$ $\mathbf M_2 \mathbf x_1$ $X_1$ $\mathbf X_2$ $\hat \beta_1$ $X_1$ $\mathbf X_2$ $Y$ $\mathbf X_2$

C'est une partie emblématique de l'algèbre classique des moindres carrés.

— Alecos Papadopoulos
source

J'ai commencé à répondre, mais j'avais beaucoup de chevauchements avec cette réponse. Vous pouvez trouver beaucoup de ces informations dans le chapitre 3.2.4 de la 7e édition de "Econometric Analysis" par Bill Greene.

— cc7768

@ cc7768 Oui, c'est une bonne source pour l'algèbre des moindres carrés. Mais n'hésitez pas à publier du matériel supplémentaire. Par exemple, ma réponse ne couvre essentiellement que la deuxième question du PO.

— Alecos Papadopoulos

@AlecosPapadopoulos vous dites que si nous régressons

sur

, nous obtenons également

M_{2} y

$\mathbf M_2y$

X_{1}

$\mathbf X_1$

{\hat{β}}_{1}

$\hat \beta_1$

M_{2} y

$\mathbf M_2y$

M_{2} X_{1}

$\mathbf M_2\mathbf X_1$

@Heisenberg Correct. Faute de frappe. Corrigé et ajouté un peu plus.

— Alecos Papadopoulos