L'indépendance moyenne conditionnelle implique l'impartialité et la cohérence de l'estimateur OLS

Considérons le modèle de régression multiple suivant:

\begin{matrix} (1) & Y = X β + Z δ + U . \end{matrix}

$Y=X\beta+Z\delta+U.\tag{1}$

Ici, est un vecteur de colonne ; une matrice ; a vecteur de colonne; a matrice; a vecteur de colonne; et , le terme d'erreur, un vecteur de colonne . $Y$ $n\times 1$ $X$ $n\times (k+1)$ $\beta$ $(k+1)\times 1$ $Z$ $n\times l$ $\delta$ $l\times 1$ $U$ $n\times1$

QUESTION

Mon conférencier, le manuel Introduction to Econometrics, 3e éd. par James H. Stock et Mark W. Watson, p. 281 et Econometrics: Honor's Exam Review Session (PDF) , p. 7, m'a exprimé ce qui suit.

Si nous supposons ce qu'on appelle l' indépendance moyenne conditionnelle , ce qui signifie par définition que $\begin{matrix} (2) & E (U | X, Z) = E (U | Z), \end{matrix}$ $E(U|X,Z)=E(U|Z),\tag{2}$
et si l'hypothèse des moindres carrés est satisfaite, sauf l'hypothèse de moyenne zéro conditionnelle (nous supposons donc ) (voir 1 -3 ci-dessous), $E(U|X,Z)=0$ $E(U|X,Z)=E(U|Z) \neq 0$
ensuite, l'estimateur OLS de in reste sans biais et cohérent, sous cet ensemble plus faible d'hypothèses. $\hat{\beta}$ $\beta$ $(1)$

Comment prouver cette proposition? C'est-à-dire que 1 et 2 ci-dessus impliquent que l'estimation OLS de nous donne un estimateur sans biais et cohérent pour ? Existe-t-il un article de recherche prouvant cette proposition? $\beta$ $\beta$

COMMENTAIRE

Le cas le plus simple est donné en considérant le modèle de régression linéaire et prouver que l'OLS estime of est sans biais si pour chaque .

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}, i = 1, 2, \dots, n,

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i,\quad i=1,2,\ldots,n,$

{\hat{β}}_{1}

$\hat{\beta}_1$

β_{1}

$\beta_1$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

i

$i$

PREUVE DE partons du principe que non biaisé ET SONT CONJOINTEMENT DISTRIBUE NORMALEMENT $U_i$ $Z_i$

Définissez , puis etAinsi peut être réécrit comme Par il s'ensuit alors que Or, comme et sont distribués normalement normalement conjointement, la théorie des distributions normales, cf. Dériver les distributions conditionnelles d'une distribution normale multivariée , dit que (en effet, nous n'avons pas besoin de supposer une normalité conjointe mais seulement cette identité) pour certains vecteurs par $V=U-E(U|X,Z)$ $U=V+E(U|X,Z)$

\begin{matrix} (*) & E (V | X, Z) = 0 . \end{matrix}

$E(V|X,Z)=0\tag{*}.$

(1)

$(1)$

\begin{matrix} (3) & Y = X β + Z δ + E (U | X, Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|X,Z)+V.\tag{3}$

(2)

$(2)$

\begin{matrix} (4) & Y = X β + Z δ + E (U | Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|Z)+V.\tag{4}$

U_{i}

$U_i$

Z_{i}

$Z_i$

\begin{matrix} (**) & E (U | Z) = Z γ \end{matrix}

$E(U|Z)=Z\gamma\tag{**}$

l

$l$

1

$1$

γ \neq 0

$\gamma\neq\textbf{0}$ .

Maintenant devient Pour le modèle toutes les hypothèses des moindres carrés sont satisfaites, car le terme d'erreur satisfait l'hypothèse de conditionnel signifie zéro. Cela implique que l'estimation OLS de sera sans biais, car si nous laissons , et que soit le par matrice composée de et , alors l'estimation OLS de dans est donnée en considérant ce qui suit: $(4)$

\begin{matrix} (5) & Y = X β + Z (δ + γ) + V . \end{matrix}

$Y=X\beta+Z(\delta+\gamma)+V.\tag{5}$

(5)

$(5)$

V

$V$

\hat{β}

$\hat{\beta}$

β

$\beta$

ρ = δ + γ

$\rho=\delta+\gamma$

W = (X, Z)

$W=(X,Z)$

n

$n$

(k + 1) + l

$(k+1)+l$

X

$X$

Z

$Z$

β

$\beta$

(5)

$(5)$

\begin{aligned} ({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} & = (W^{T} W)^{- 1} W^{T} Y \\ = (W^{T} W)^{- 1} W^{T} (W (β^{T}, ρ^{T})^{T} + V) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} V \end{aligned}

$\begin{align}(\hat{\beta}^T,\hat{\rho}^T)^T &=(W^TW)^{-1}W^TY\\ &=(W^TW)^{-1}W^T(W(\beta^T,\rho^T)^T+V)\\ &=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^TV\end{align}$

et ainsi où la deuxième ligne suit par . Ainsi, est une estimation conditionnellement non biaisée de puisque l'estimation OLS donnée pour le modèle coinicides avec celle donnée pour le modèle . Maintenant, selon la loi de l'attente totale et donc est un estimateur non biaisé pour .

\begin{aligned} E (({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} | W) & = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W s^{T} E (V | W) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} 0 \\ = (β^{T}, ρ^{T})^{T}, \end{aligned}

$\begin{align}E((\hat{\beta}^T,\hat{\rho}^T)^T|W)&=(\beta^T,\rho^T)^T+(W^TW)^{-1}Ws^TE(V|W)\\&=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^T\textbf{0}\\&=(\beta^T,\rho^T)^T,\end{align}$

(*)

$(*)$

\hat{β}

$\hat{\beta}$

β

$\beta$

(1)

$(1)$

(5)

$(5)$

\begin{aligned} E (\hat{β}) & = E (E (\hat{β} | W)) \\ = E (β) \\ = β, \end{aligned}

$\begin{align}E(\hat{\beta})&=E(E(\hat{\beta}|W))\\ &=E(\beta)\\ &=\beta,\end{align}$

\hat{β}

$\hat{\beta}$

β

$\beta$

(On peut noter que , de sorte que le coefficient sur n'est pas nécessairement sans biais.) $E(\hat{\rho})=\rho=\delta+\gamma\neq\delta$ $Z$

Cependant, le cas spécial ci-dessus suppose que et sont distribués normalement normalement conjointement, comment puis-je prouver la proposition sans cette hypothèse? $U_i$ $Z_i$

En supposant que suffit toujours bien sûr (cf. ), mais je suis censé dériver le résultat en utilisant simplement et l'hypothèse des moindres carrés excluant l'hypothèse du zéro moyen conditionnel ( voir ci-dessous). $E(U|Z)=Z\gamma$ $(**)$ $(2)$

CONCERNANT LA COHÉRENCE

Je pense que l'on peut également voir que l'estimation est cohérente pour en remarquant que dans le modèle de régression toutes les hypothèses des moindres carrés sont satisfaites, y compris l'hypothèse que le (nouveau) terme d'erreur satisfait le Hypothèse conditionnelle du zéro moyen (cf. et voir ci-dessous). $\hat{\beta}$ $\beta$ $(5)$ $V$ $(*)$

J'ajouterai plus tard une preuve de cohérence qui est basée sur une série d'exercices dans Introduction to Econometrics, 3e éd. par James H. Stock et Mark W. Watson, ch. 18. Cependant, cette preuve est assez longue. Mais le fait est que la preuve fournie dans les exercices suppose , donc je me demande toujours si l'hypothèse suffit vraiment. $(**)$ $(2)$

SOUS-DEMANDE 1

Dans Introduction to Econometrics, 3e éd. par James H. Stock et Mark W. Watson, il est dit, à la p. 300, que l'hypothèse peut être "assouplie" en utilisant la théorie de la régression non linéaire. Que veulent ou peuvent-ils dire par là? $(**)$

LES HYPOTHÈSES DES MOINS CARRÉS

Ici, j'exclus l'hypothèse de moyenne nulle conditionnelle selon laquelle puisque la proposition que nous essayons de prouver ici permet des cas où . Ce sont par exemple les cas où est en corrélation avec . Cf. Économétrie: Session d'examen de l'examen d'honneur (PDF) , p. 7. $E(U|X,Z)=0$ $E(U|X,Z)\neq 0$ $Z$ $U$

L'hypothèse des moindres carrés est la suivante.

Les distributions conjointes de , sont iid, où est le : e élément dans et où et sont les : e vecteurs de ligne dans et . $(Y_i,X_i,Z_i)$ $i=1,2,\ldots,n,$ $Y_i$ $i$ $Y$ $X_i$ $Z_i$ $i$ $X$ $Z$
Les grandes valeurs aberrantes sont peu probables, à savoir, pour chaque , et ont des moments finis quatrième, où est le : ième élément en . $i$ $X_i, Z_i$ $U_i$ $U_i$ $i$ $U$
$(X,Z)$ a un rang de colonne complet (c'est-à-dire qu'il n'y a pas de multicolinéarité parfaite; cela garantit l'inversibilité de ). $W^TW$
( Hypothèses des moindres carrés étendus : bien que je ne pense pas que cela soit nécessaire (et il m'a été dit que ce n'est pas le cas), nous pouvons également supposer une homoskédasticité, c'est-à-dire pour chaque , et que la distribution conditionnelle de donnée est normale pour chaque (c'est-à-dire que nous avons des erreurs normales.)) $\text{Var}(U_i|X_i,Z_i)=\sigma^2_U$ $i$ $U_i$ $(X_i,Z_i)$ $i$

NOTE SUR LA TERMINOLOGIE

Dans , l'hypothèse du zéro moyen conditionnel est l'hypothèse que . L'hypothèse d'indépendance moyenne conditionnelle, cependant, est l'hypothèse que . $(1)$ $E(U|X,Z)=0$ $E(U|X,Z)=E(U|Z)$

Cette terminologie est utilisée par exemple dans Introduction to Econometrics, 3rd ed. par James H. Stock et Mark W. Watson, p. 281; and Econometric Analysis of Cross Section and Panel Data, 1ère éd. par Jeffrey M. Wooldridge, p. 607. Voir aussi Restrictions d'indépendance conditionnelles: tests et estimations pour des discussions similaires.

RÉFLEXIONS SUPPLÉMENTAIRES ET SOUS-REQUÊTE 2

Je pense que contrairement à James H. Stock et Mark W. Watson, l'indépendance moyenne conditionnelle ne garantit pas une estimation OLS non biaisée de . En effet, peut prendre des formes non linéaires comme où est un polynôme en , ou où est un paramètre encore à estimer (j'utilise ici la matrice exponentielle ), puis, je pense, une régression non linéaire doit être appliquée, ce qui nous laisse généralement des estimations biaisées. De plus, l'estimation OLS dans (1) de peut même ne pas coïncider avec l'estimation OLS de $\beta$ $E(U|Z)$ $E(U|Z)=p(Z)$ $p(Z)$ $Z$ $E(U|Z)=\exp( Z\gamma)$ $\gamma$ $\beta$ $\beta$ en si prend certaines formes non linéaires. (Psychologiquement, je pense également que la déclaration faite dans le livre de Stock & Watson est trop belle pour être vraie.) $(4)$ $E(U|Z)$

Ainsi, une question supplémentaire est de savoir s'il existe un contre-exemple à la proposition selon laquelle l'indépendance moyenne conditionnelle conduit à une estimation OLS non biaisée?

SOUS-DEMANDE 3

Dans Mostly Harmless Econometrics, Angrist & Pischke fait valoir à la sous-section 3.3, p. 68 à 91, que sous l'indépendance conditionnelle (IC), c'est-à-dire que étant indépendant de étant donné (qui est une condition plus forte, je suppose, que l'hypothèse d'indépendance moyenne conditionnelle donnée ci-dessus), il existe un lien étroit entre les estimations correspondantes de l'effet de sur et des coefficients sur dans la régression de sur et ce qui motive que sous CI l'estimation OLS du coefficient sur dans $Y$ $X$ $W$ $X$ $Y$ $X$ $Y$ $X$ $W$ $X$ $(1)$ est moins biaisé que si CI ne tient pas (toutes choses égales par ailleurs).

Maintenant, cette idée peut-elle être utilisée d'une manière ou d'une autre pour répondre à ma question principale ici?

— Elias
source

@ Xi'an Que voulez-vous dire? C'est la définition de l'indépendance moyenne conditionnelle donnée dans mon manuel: si nous dans la régression linéaire avons , alors nous disons que nous avons l'indépendance moyenne conditionnelle. Je pensais juste que ma façon d'écrire était plus générale.

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

— Elias

@ Xi'an Comment définiriez-vous "indépendance conditionnelle $ ce" dans ce cas? À mon avis, «indépendance conditionnelle» est un concept distinct de «indépendance moyenne conditionnelle». Ils peuvent ou non être liés conceptuellement.

— Elias

@ Xi'an C'est ainsi que je comprends les concepts: l'indépendance conditionnelle est juste , mais l'indépendance moyenne conditionnelle est .

P (A \cap B | C) = P (A | C) P (B | C)

$P(A\cap B|C)=P(A|C)P(B|C)$

E (A | B, C) = E (A | C)

$E(A|B,C)=E(A|C)$

— Elias

Où est le commentaire de Xi'an?

— Michael R. Chernick

@MichaelChernick Son commentaire était le premier. Je suppose qu'il a dû le supprimer. Si je me souviens bien, il a dit que n'implique pas l'indépendance conditionnelle, et j'ai répondu.

E (U | X, Z) = E (U | Z)

$E(U|X,Z)=E(U|Z)$

— Elias

Réponses:

C'est faux. Comme vous le constatez, si vous lisez attentivement Stock et Watson, ils n'approuvent pas réellement l'affirmation selon laquelle OLS n'est pas biaisé pour sous indépendance moyenne conditionnelle. Ils approuvent l'affirmation beaucoup plus faible selon laquelle OLS est sans biais pour si . Ensuite, ils disent quelque chose de vague sur les moindres carrés non linéaires. $\beta$ $\beta$ $E(u|x,z)=z\gamma$

Votre équation (4) contient ce dont vous avez besoin pour voir que la réclamation est fausse. L'estimation de l'équation (4) par OLS en omettant la variable conduit à un biais de variables omis. Comme vous vous en souvenez probablement, le terme de biais des variables omises (lorsque la variable omise a un coefficient de 1) est contrôlé par les coefficients de la régression auxiliaire suivante: Le biais dans la régression d'origine pour est de cette régression, et le biais sur est . Si est corrélé avec , après contrôle linéaire pour $E(u|x,z)$

\begin{aligned} E (u | z) = x α_{1} + z α_{2} + ν \end{aligned}

$\begin{align} E(u|z) = x\alpha_1 + z\alpha_2 + \nu \end{align}$

β

$\beta$

α_{1}

$\alpha_1$

γ

$\gamma$

α_{2}

$\alpha_2$

x

$x$

E (u | z)

$E(u|z)$

z

$z$ , alors sera différent de zéro et le coefficient OLS sera biaisé.

α_{1}

$\alpha_1$

Voici un exemple pour prouver le point:

\begin{aligned} ξ & \sim F (), ζ \sim G (), ν \sim H () all independent \\ z & = ξ \\ x & = z^{2} + ζ \\ u & = z + z^{2} - E (z + z^{2}) + ν \end{aligned}

$\begin{align} \xi &\sim F(), \; \zeta \sim G(), \; \nu \sim H()\quad \text{all independent}\\ z &=\xi\\ x &= z^2 + \zeta\\ u &= z+z^2-E(z+z^2)+\nu \end{align}$

En regardant la formule pour , il est clair que En regardant la régression auxiliaire, il est clair que (en l'absence d'un choix fortuit de ) ne sera pas nul. $u$ $E(u|x,z)=E(u|z)=z+z^2-E(z+z^2)$ $F,G,H$ $\alpha_1$

Voici un exemple très simple dans Rlequel illustre le point:

set.seed(12344321)
z <- runif(n=100000,min=0,max=10)
x <- z^2 + runif(n=100000,min=0,max=20)
u <- z + z^2 - mean(z+z^2) + rnorm(n=100000,mean=0,sd=20)
y <- x + z + u

summary(lm(y~x+z))

# auxiliary regression
summary(lm(z+z^2~x+z))

Notez que la première régression vous donne un coefficient sur qui est biaisé de 0,63, reflétant le fait que "a un " comme le fait . Notez également que la régression auxiliaire vous donne une estimation du biais d'environ 0,63. $x$ $x$ $z^2$ $E(u|z)$

Alors, de quoi parlent Stock et Watson (et votre conférencier)? Revenons à votre équation (4):

\begin{aligned} y = x β + z γ + E (u | z) + v \end{aligned}

$\begin{align} y = x\beta + z\gamma + E(u|z) + v \end{align}$

C'est un fait important que la variable omise n'est qu'une fonction de . Il semble que si nous pouvions très bien contrôler , cela suffirait à purger le biais de la régression, même si peut être corrélé avec . $z$ $z$ $x$ $u$

Supposons que nous avons estimé l'équation ci-dessous en utilisant une méthode non paramétrique pour estimer la fonction ou en utilisant la forme fonctionnelle correcte . Si nous utilisions la forme fonctionnelle correcte, nous l’estimerions par des moindres carrés non linéaires (expliquant le commentaire cryptique sur NLS): Cela nous donnerait un estimateur cohérent pour car il n'y a plus de problème de variable omise. $f()$ $f(z)=z\gamma+E(u|z)$

\begin{aligned} y = x β + f (z) + v \end{aligned}

$\begin{align} y = x\beta + f(z) + v \end{align}$

β

$\beta$

Alternativement, si nous avions suffisamment de données, nous pourrions aller `` jusqu'au bout '' en contrôlant . Nous pourrions examiner un sous-ensemble des données où , et exécuter simplement la régression: Cela donnerait des estimateurs non biaisés et cohérents pour le sauf pour l'ordonnée à l'origine, bien sûr, qui serait polluée par . De toute évidence, vous pouvez également obtenir un estimateur (différent) cohérent et non biaisé en exécutant cette régression uniquement sur les points de données pour lesquels . Et un autre pour les points où . Etc. Ensuite, vous auriez un tas de bons estimateurs à partir desquels vous pourriez faire un excellent estimateur en, disons, en faisant la moyenne de tous ensemble d'une manière ou d'une autre. $z$ $z=1$

\begin{aligned} y = x β + v \end{aligned}

$\begin{align} y = x\beta + v \end{align}$

β

$\beta$

f (1)

$f(1)$

z = 2

$z=2$

z = 3

$z=3$

$z=1$ $z$ $z$

— Facture
source

$(4)$

Y = X β + Z δ + (E (U | Z) + V)

$Y=X\beta+Z\delta+\Big(E(U|Z)+V\Big)$

$M_Z = I - Z(Z'Z)^{-1}Z'$ $M_ZZ = \mathbf 0$

Par "résultats de régression partitionnés", nous avons que

{\hat{β}}_{O L S} - β = (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} Z δ + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z) + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} V

$\hat \beta_{OLS} - \beta = (X'M_ZX)^{-1}X'M_ZZ\delta + (X'M_ZX)^{-1}X'M_ZE(U\mid Z) + (X'M_ZX)^{-1}X'M_ZV$

Le premier terme à droite est déjà nul. En prenant la valeur attendue tout au long, puis en appliquant la propriété de la tour à l'attente conditionnelle, le troisième terme sera également nul (en utilisant l'indépendance moyenne conditionnelle dans sa forme la plus faible). Mais c'est aussi loin que cette hypothèse plus faible nous amène, car nous nous retrouverons avec

E ({\hat{β}}_{O L S}) - β = E [(X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z)]

$E\Big(\hat \beta_{OLS} \Big)- \beta = E\Big[(X'M_ZX)^{-1}X'M_ZE(U\mid Z) \Big]$

$E(U\mid Z)$ $Z$ $M_ZZ$
$\beta$

E (U ∣ X, Z) = E (U ∣ Z) = Z γ

$E(U\mid X, Z)=E(U\mid Z)=Z\gamma$

$U$ $Z$

$\hat \beta_{OLS}$

— Alecos Papadopoulos
source

M_{Z}

$M_Z$

M_{z}

$M_z$

Z

$Z$

z

$z$