22

La première phrase de ce wiki Page réclamations « En économétrie, un problème d'endogénéité se produit lorsqu'une variable explicative est en corrélation avec le terme d'erreur. 1 »

Ma question est la suivante: comment cela peut-il arriver? La régression bêta n'est-elle pas choisie de telle sorte que le terme d'erreur soit orthogonal à l'espace des colonnes de la matrice de conception?

regression

— habitant du nord
source

9

La régression bêta est choisie de telle sorte que le résidu soit orthogonal à l'espace de colonne de la matrice de conception. Et cela peut donner une horrible estimation de la vraie bêta si le terme d' erreur n'est pas orthogonal à l'espace de colonne de la matrice de conception! (c'est-à-dire si votre modèle ne satisfait pas aux hypothèses nécessaires pour estimer de manière cohérente les coefficients par régression).

— Matthew Gunn

3

L'orthogonalité du terme d'erreur et de l'espace des colonnes de la matrice de conception n'est pas une propriété de votre méthode d'estimation (par exemple, la régression des moindres carrés ordinaires), c'est une propriété du modèle (par exemple,

y_{i} = a + b x_{i} + ϵ_{i}

$y_i = a + b x_i + \epsilon_i$ ).

— Matthew Gunn

Je pense que votre montage devrait être une nouvelle question parce que vous semblez avoir changé substantiellement ce que vous demandez. Vous pouvez toujours créer un lien vers celui-ci. (Je pense que vous devez aussi le formuler mieux - lorsque vous écrivez «quel serait l'effet», je ne sais pas exactement quoi ?) Notez que poser une nouvelle question produit généralement plus d'attention, ce qui serait un avantage pour vous sur l'édition d'un existant.

— Silverfish

28

Vous confondez deux types de termes "erreur". Wikipédia a en fait un article consacré à cette distinction entre les erreurs et les résidus .

Dans une régression OLS, les résidus (vos estimations de l'erreur ou la perturbation sont en effet garantis à Uncorrelated avec les variables prédictives, en supposant la régression contient un terme d'interception. $\hat \varepsilon$

Mais les "vraies" erreurs peuvent bien être corrélées avec elles, et c'est ce qui compte comme endogénéité. $\varepsilon$

Pour garder les choses simples, considérons le modèle de régression (vous pouvez le voir décrit comme le " processus de génération de données " ou "DGP" sous-jacent , le modèle théorique que nous supposons pour générer la valeur de ): $y$

y_{i} = β_{1} + β_{2} x_{i} + ε_{i}

$y_i = \beta_1 + \beta_2 x_i + \varepsilon_i$

Il n'y a aucune raison, en principe, pour laquelle ne peut pas être corrélé avec dans notre modèle, mais nous préférerions qu'il ne viole pas les hypothèses OLS standard de cette manière. Par exemple, il se pourrait que dépende d'une autre variable qui a été omise de notre modèle, et cela a été incorporé dans le terme de perturbation (le est l'endroit où nous regroupons toutes les choses autres que qui affectent ). Si cette variable omise est également corrélée avec , alors sera à son tour corrélée avec et nous avons une endogénéité (en particulier, biais de variable omise ). $x$ $\varepsilon$ $y$ $\varepsilon$ $x$ $y$ $x$ $\varepsilon$ $x$

Lorsque vous estimez votre modèle de régression sur les données disponibles, nous obtenons

y_{i} = {\hat{β}}_{1} + {\hat{β}}_{2} x_{i} + {\hat{ε}}_{i}

$y_i = \hat \beta_1 + \hat \beta_2 x_i + \hat \varepsilon_i$

En raison de la façon dont fonctionne OLS *, les résidus seront décorrélé . Mais cela ne signifie pas que nous avons évité endogénéité - il signifie simplement que nous ne pouvons pas détecter en analysant la corrélation entre et , qui sera (jusqu'à erreur numérique) zéro. Et parce que les hypothèses OLS ont été violées, nous ne sommes plus garantis des belles propriétés, telles que l'impartialité, nous apprécions tellement OLS. Notre estimation sera biaisé. $\hat \varepsilon$ $x$ $\hat \varepsilon$ $x$ $\hat \beta_2$

Le fait que est décorrélé avec suit immédiatement des « équations normales »nous utilisons pour choisir nos meilleures estimations pour les coefficients. $(*)$ $\hat \varepsilon$ $x$

Si vous n'êtes pas habitué au paramètre de matrice et que je m'en tiens au modèle bivarié utilisé dans mon exemple ci-dessus, alors la somme des résidus au carré est et de trouver la valeur optimale et $S(b_1, b_2) = \sum_{i=1}^n \varepsilon_i^2 = \sum_{i=1}^n (y_i-b_1 - b_2 x_i)^2$ $b_1 = \hat \beta_1$ qui minimisent cela, nous trouvons les équations normales, tout d'abord la condition de premier ordre pour l'ordonnée à l'origine estimée: $b_2 = \hat \beta_2$

\frac{\partial S}{\partial b_{1}} = \sum_{i = 1}^{n} - 2 (y_{i} - b_{1} - b_{2} x_{i}) = - 2 \sum_{i = 1}^{n} {\hat{ε}}_{i} = 0

$\frac{\partial S}{\partial b_1} = \sum_{i=1}^n -2(y_i-b_1 - b_2 x_i) = -2 \sum_{i=1}^n \hat \varepsilon_i = 0$

ce qui montre que la somme (et donc la moyenne) des résidus est égal à zéro, donc la formule de la covariance entre et une variable se réduit alors à $\hat \varepsilon$ $x$ . Nous voyons que c'est zéro en considérant la condition de premier ordre pour la pente estimée, qui est que $\frac{1}{n-1} \sum_{i=1}^n x_i \hat \varepsilon_i$

\frac{\partial S}{\partial b_{2}} = \sum_{i = 1}^{n} - 2 x_{i} (y_{i} - b_{1} - b_{2} x_{i}) = - 2 \sum_{i = 1}^{n} x_{i} {\hat{ε}}_{i} = 0

$\frac{\partial S}{\partial b_2} = \sum_{i=1}^n -2 x_i (y_i-b_1 - b_2 x_i) = -2 \sum_{i=1}^n x_i \hat \varepsilon_i = 0$

Si vous avez l'habitude de travailler avec des matrices, nous pouvons généraliser cela à une régression multiple en définissant ; la conditionpremier ordre pour minimiser à optimal est: $S(b) = \varepsilon' \varepsilon = (y-Xb)'(y-Xb)$ $S(b)$ $b = \hat \beta$

\frac{d S}{d b} (\hat{β}) = \frac{d}{d b} (y^{'} y - b^{'} X^{'} y - y^{'} X b + b^{'} X^{'} X b) |_{b = \hat{β}} = - 2 X^{'} y + 2 X^{'} X \hat{β} = - 2 X^{'} (y - X \hat{β}) = - 2 X^{'} \hat{ε} = 0

$\frac{dS}{db}(\hat\beta) = \frac{d}{db}\bigg(y'y - b'X'y - y'Xb + b'X'Xb\bigg)\bigg|_{b=\hat\beta} = -2X'y + 2X'X\hat\beta = -2X'(y - X\hat\beta) = -2X'\hat \varepsilon = 0$

Cela implique que chaque rangée de , et donc chaque colonne de , est orthogonale à . Ensuite, si la matrice de conception a une colonne d'unités (ce qui se produit si votre modèle a un terme d'interception), nous devons avoir $X'$ $X$ $\hat \varepsilon$ $X$ si les résidus ont somme nulle et moyenne nulle. La covariance entre et une variableestnouveau $\sum_{i=1}^n \hat \varepsilon_i = 0$ $\hat \varepsilon$ $x$ et pour toute variableinclus dans notre modèlenous savonscette somme est égalezéro, parce que est orthogonale à chaque colonne de la matrice de conception. Par conséquentil est covariance égalzéro, et zéro corrélation entre et toute variable prédictive. $\frac{1}{n-1} \sum_{i=1}^n x_i \hat \varepsilon_i$ $x$ $\hat \varepsilon$ $\hat \varepsilon$ $x$

Si vous préférez une vue plus géométrique des choses , notre désir réside aussi près que possible en pythagoricien sorte de chemin , et le fait que est contrainte à l'espace de la colonne de la matrice de conception , doit être la projection orthogonale du observé sur cet espace de colonne. D' où le vecteur des résidus est orthogonal à chaque colonne de , y compris le vecteur de ceux $\hat y$ $y$ $\hat y$ $X$ $\hat y$ $y$ $\hat \varepsilon = y - \hat y$ $X$ $\mathbf{1_n}$ si un terme d'interception est inclus dans le modèle. Comme précédemment, cela implique que la somme des résidus est nulle, d'où l'orthogonalité du vecteur résiduel avec les autres colonnes de assure qu'il n'est pas corrélé avec chacun de ces prédicteurs. $X$

Vecteurs dans l'espace sujet de régression multiple

Mais rien de ce que nous avons fait ici ne dit quoi que ce soit sur les vraies erreurs . En supposant qu'il est un terme d'interception dans notre modèle, les résidus ne sont pas corrélés avec comme conséquence mathématique de la manière dont nous avons choisi d'estimer les coefficients de régression . La façon dont nous avons choisi notre affecte nos valeurs prédites et donc nos résidus . Si l' on choisit par OLS, nous devons résoudre les équations normales et que celles - ci appliquer nos résidus estimés $\varepsilon$ $\hat \varepsilon$ $x$ $\hat \beta$ $\hat \beta$ $\hat y$ $\hat \varepsilon = y - \hat y$ $\hat \beta$ ne sont pas corrélés avec. Notre choix de affecte mais paset impose donc aucune condition sur les vraies erreurs. Ce serait une erreur de penser que aquelque sorte « hérité »son avec non corrélationde l'hypothèse OLS quedoit être décorrélé avec. L'incorrélation découle des équations normales. $\hat \varepsilon$ $x$ $\hat \beta$ $\hat y$ $\mathbb{E}(y)$ $\varepsilon = y - \mathbb{E}(y)$ $\hat \varepsilon$ $x$ $\varepsilon$ $x$

— Silverfish
source

1

votre

signifie-t-il une régression à l'aide des données de population? Ou qu'est-ce que cela signifie précisément?

y_{i} = β_{1} + β_{2} x_{i} + ε_{i}

$y_i = \beta_1 + \beta_2 x_i + \varepsilon_i$

— habitant du nord

@ user1559897 Oui, certains manuels appellent cela la "ligne de régression de la population" ou PRL. C'est le modèle théorique sous-jacent de la population; vous pouvez également voir cela appelé le "processus de génération de données" dans certaines sources. (J'ai tendance à être un peu prudent en disant que c'est la "régression sur la population" ... si vous avez une population finie, par exemple 50 états des USA, sur laquelle vous effectuez la régression, alors ce n'est pas tout à fait vrai Si vous exécutez réellement une population sur certaines données de votre logiciel, vous parlez vraiment de la version estimée de la régression, avec les "chapeaux")

— Silverfish

Je pense que je vois ce que vous dites. Si je vous comprends bien, le terme d'erreur dans le modèle

pourrait également avoir une espérance non nulle car il s'agit d'un processus générateur théorique, et non d'une régression ols.

y_{i} = β_{1} + β_{2} x_{i} + ε_{i}

$y_i = \beta_1 + \beta_2 x_i + \varepsilon_i$

— habitant du nord

Il s'agit d'une excellente réponse du point de vue de l'inférence statistique. Selon vous, quel serait l'effet si l'exactitude des prévisions était la principale préoccupation? Voir l'édition de l'article.

— habitant du nord

16

Exemple simple:

Let $x_{i,1}$ be the number of burgers I buy on visit $i$
Let $x_{i,2}$ be the number of buns I buy.
Let $b_1$ be the price of a burger
Let $b_2$ be the price of a bun.
Independent of my burger and bun purchases, let me spend a random amount $a + \epsilon_i$ where $a$ is a scalar and $\epsilon_i$ is a mean zero random variable. We have $\operatorname{E}[\epsilon_i | X] = 0$ .
$y_i$

Le processus de génération de données est:

y_{i} = a + b_{1} x_{i, 1} + b_{2} x_{i, 2} + ϵ_{i}

$y_i = a + b_1x_{i,1} + b_2x_{i,2} + \epsilon_i$

If we ran that regression, we would get estimates $\hat{a}$ , $\hat{b}_1$ , and $\hat{b}_2$ , and with enough data, they would converge on $a$ , $b_1$ , and $b_2$ respectively.

(Technical note: We need a little randomness so we don't buy exactly one bun for each burger we buy at every visit to the grocery store. If we did this, $x_1$ and $x_2$ would be collinear.)

An example of omitted variable bias:

Now let's consider the model:

y_{i} = a + b_{1} x_{i, 1} + u_{i}

$y_i = a + b_1x_{i,1} + u_i$

Observe that $u_i = b_2x_{i,2} + \epsilon_i$ . Hence

\begin{aligned} Cov (x_{1}, u) & = Cov (x_{1}, b_{2} x_{2} + ϵ) \\ = b_{2} Cov (x_{1}, x_{2}) + Cov (x_{1}, ϵ) \\ = b_{2} Cov (x_{1}, x_{2}) \end{aligned}

$\begin{align*} \operatorname{Cov}(x_{1}, u) &= \operatorname{Cov}(x_1,b_2x_2 + \epsilon )\\ &= b_2 \operatorname{Cov}(x_{1},x_2) + \operatorname{Cov}(x_{1},\epsilon) \\ &= b_2 \operatorname{Cov}(x_{1},x_2) \end{align*}$

Is this zero? Almost certainly not! The purchase of burgers $x_1$ and the purchase of buns $x_2$ are almost certainly correlated! Hence $u$ and $x_1$ are correlated!

What happens if you tried to run the regression?

If you tried to run:

y_{i} = \hat{a} + {\hat{b}}_{1} x_{i, 1} + {\hat{u}}_{i}

$y_i = \hat{a} + \hat{b}_1 x_{i,1} + \hat{u}_i$

Your estimate $\hat{b}_1$ would almost certainly be a poor estimate of $b_1$ because the OLS regression estimates $\hat{a}, \hat{b}, \hat{u}$ would be constructed so that $\hat{u}$ and $x_1$ are uncorrelated in your sample. But the actual $u$ is correlated with $x_1$ in the population!

What would happen in practice if you did this? Your estimate $\hat{b}_1$ of the price of burgers would ALSO pickup the price of buns. Let's say every time you bought a $1 burger you tended to buy a $0.50 bun (but not all the time). Your estimate of the price of burgers might be $1.40. You'd be picking up the burger channel and the bun channel in your estimate of the burger price.

— Matthew Gunn
source

I like your burger bun example. You explained the problem from the perspective of statistical inference, ie inferring the effect of burger on price. Just wondering what the effect would be if all I care about is prediction, i.e prediction MSE on a test dataset? The intuition is that it is not going to be as good, but is there any theory to make it more precise? (this introduced more bias, but less variance, so the overall effect is not apparent to me. )

— denizen of the north

1

@user1559897 If you just care about predicting spending, then predicting spending using the number of burgers and estimating

{\hat{b}}_{1}

$\hat{b}_1$ as around $1.40 might work pretty well. If you have enough data, using the number of burgers and buns would undoubtedly work better. In short samples,

L_{1}

$L_1$ regularlization (LASSO) might send one of the coefficients

b_{1}

$b_1$ or

b_{2}

$b_2$ to zero. I think you're correctly recognizing that what you're doing in regression is estimating a conditional expectation function. My point is for that that function to capture causal effects, you need additional assumptions.

— Matthew Gunn

3

Suppose that we're building a regression of the weight of an animal on its height. Clearly, the weight of a dolphin would be measured differently (in different procedure and using different instruments) from the weight of an elephant or a snake. This means that the model errors will be dependent on the height, i.e. explanatory variable. They could be dependent in many different ways. For instance, maybe we tend to slightly overestimate the elephant weights and slightly underestimate the snake's, etc.

So, here we established that it is easy to end up with a situation when the errors are correlated with the explanatory variables. Now, if we ignore this and proceed to regression as usual, we'll notice that the regression residuals are not correlated with the design matrix. This is because, by design the regression forces the residuals to be uncorrelated. Note, also that residuals are not the errors, they're the estimates of errors. So, regardless of whether the errors themselves are correlated or not with the independent variables the error estimates (residuals) will be uncorrelated by the construction of the regression equation solution.

— Aksakal
source

Comment le terme d'erreur de régression peut-il être corrélé avec les variables explicatives?

Exemple simple:

An example of omitted variable bias:

What happens if you tried to run the regression?