L'hypothèse de linéarité dans la régression linéaire n'est-elle qu'une définition de

Je révise la régression linéaire.

Le manuel de Greene déclare:

Maintenant, bien sûr, il y aura d'autres hypothèses sur le modèle de régression linéaire, telles que $E(\epsilon|X)=0$ . Cette hypothèse combinée à l'hypothèse de linéarité (qui définit en fait $\epsilon$ ), structure le modèle.

Cependant, l'hypothèse de linéarité en soi ne met pas de structure sur notre modèle, car $\epsilon$ peut être complètement arbitraire. Pour toutes les variables $X, y$ que ce soit, quelle que soit la relation entre les deux, nous pourrions définir un $\epsilon$ tel que l'hypothèse de linéarité soit vraie. Par conséquent, l '"hypothèse" de linéarité devrait vraiment être appelée une définition de $\epsilon$ , plutôt qu'une hypothèse.

Je me demande donc :

Greene est-il bâclé? Aurait-il dû écrire: ? Il s'agit d'une «hypothèse de linéarité» qui met en réalité la structure du modèle. $E(y|X)=X\beta$
Ou dois-je accepter que l'hypothèse de linéarité ne met pas la structure sur le modèle mais définit uniquement un , où les autres hypothèses utiliseront cette définition de pour mettre la structure sur le modèle? $\epsilon$ $\epsilon$

Edit : puisqu'il semble y avoir une certaine confusion autour des autres hypothèses, permettez-moi d'ajouter l'ensemble complet des hypothèses ici:

Il s'agit de Greene, Econometric Analysis, 7e éd. p. 16.

— user56834
source

Ce sont des observations perceptives (+1). En toute honnêteté, cependant, je crois que la plupart (sinon tous) les auteurs travaillent dans un cadre dans lequel la signification même d'une erreur additive comme

inclut l'hypothèse que sa distribution est centrée sur

ϵ

$\epsilon$

0

$0$

— whuber

@whuber, j'ai ajouté l'ensemble des hypothèses. regardez A3. A3 rend explicite qu'il est centré sur 0, ce qui impliquerait que Greene ne suppose pas cela dans A1, ce qui me laisse à me demander si A1 a un contenu logique, à part définir

ϵ

$\epsilon$

— user56834

Le sens recherché d'une liste d'hypothèses est qu'elles sont valables collectivement et non séparément. Cela ne présente aucune "négligence".

— whuber

@AdamO, le mot "correct" ne semble pas avoir de sens précis pour moi. J'essaie de comprendre plus exactement cela. Il me semble que la formulation la plus précise de tout cela est de dire que l'hypothèse 1 devrait être appelée "définition de

", et alors tout a un sens. Ou je manque quelque chose, c'est pourquoi j'ai posé cette question. Malheureusement jusqu'à présent, je n'ai pas vu de réponse directe à cette question

ϵ

$\epsilon$

— user56834

@ Programmer2134 vous obtenez des réponses imprécises parce que vous posez une question imprécise. On ne "met pas de structure sur un modèle" comme vous dites. Si le mauvais modèle moyen (

) est utilisé, alors la réponse est caractérisée par

. et les résidus sont pris comme la somme du biais et de l'erreur.

f (x)

$f(x)$

Y = f (x) + bias + error

$Y = f(x) + \text{bias} + \text{error}$

— AdamO

Réponses:

$E(y|X)=X\beta$

$E(y|X)=X\beta$

$E(y|X)$ $y$ $E[Y|do(X)]$

y = β x + γ x^{2} + ϵ

$y= \beta x + \gamma x^2 + \epsilon$

$E[\epsilon |x] = \delta x - \gamma x^2$

E [y | x] = β^{'} x

$E[y|x] = \beta'x$

$\beta' = \beta + \delta$ $y = \beta'x + \epsilon'$ $E[\epsilon'|x] = 0$ $E[y|x]$

$\epsilon$ $\epsilon$

$\epsilon$ $\epsilon := y - X\beta = y - E[Y|do(X)]$ $\epsilon$ $y$ $X$ $\epsilon$ $E[Y|do(X)]$ $E[Y|X]$

$\epsilon$ $X, y$ $\epsilon$

$y$ $x$ $\epsilon$ $\beta$

Note complémentaire

Il convient de mentionner que la plupart des manuels d'économétrie prêtent à confusion en ce qui concerne la distinction entre régression et équations structurelles et leur signification. Cela a été documenté récemment. Vous pouvez consulter un article de Chen et Pearl ici ainsi qu'une enquête approfondie de Chris Auld . Greene est l'un des livres examinés.

— Carlos Cinelli
source

ϵ

$\epsilon$

x

$x$

x

$x$

y

$y$

x

$x$

y

$y$

ϵ

$\epsilon$

y

$y$

X

$X$

ϵ := y - E [Y | d o (X)] = y - X β

$\epsilon := y - E[Y|do(X)] = y - X\beta$

ϵ

$\epsilon$

X

$X$

ϵ

$\epsilon$

X

$X$

@ Programmer2134, soit dit en passant, vos préoccupations sont sur la bonne voie, je pense que l'amorce de Pearl sur l'inférence causale pourrait être un compagnon intéressant de Greene!

— Carlos Cinelli

Soit dit en passant, j'ai commencé à lire «Causalité: modèles, raisonnement et inférence» par Pearl il y a quelque temps. Je pensais que c'était très intéressant, mais c'était quelque peu abstrait pour moi. Je ne suis pas allé au-delà du chapitre 2. Pensez-vous que "l'amorce sur l'inférence causale" conviendrait mieux? (c.-à-d. introduire des concepts de manière plus intuitive).

— user56834

E (Y | x)

$E(Y|x)$

édité après les commentaires de OP et Matthew Drury

Pour répondre à cette question , je suppose que Greene et OP, ont la définition suivante de linéarité à l' esprit: des moyens Linéarité que pour chaque unité d' augmentation de ce facteur prédictif, le résultat est augmenté de bêta ( ), où sur la plage des valeurs prédictives possibles cette augmentation d'une unité se produit. C'est-à-dire que la fonction est et non par exemple ou . De plus, cette hypothèse se concentre sur les bêtas et s'applique donc aux prédicteurs (aka variables indépendantes). $β$ $y=f(x)$ $y=a+bx$ $y=a+bx^2$ $y=a+sin(x)$

L'espérance de résidus conditionnelle au modèle est autre chose. Oui, il est vrai que les mathématiques derrière une régression linéaire définissent / tentent de définir . Cependant, cela est généralement défini sur toute la plage des valeurs ajustées / prévues pour . Si vous regardez des parties spécifiques du prédicteur linéaire et la valeur prédite de , vous remarquerez peut-être une hétéroscédasticité (zones où la variation de est plus grande qu'ailleurs), ou zones où . Une association non linéaire entre les et les pourrait en être la cause, mais ce n'est pas la seule raison pour laquelle l'hétéroscédasticité ou $E(ϵ|X)$ $E(ϵ|X)=0$ $y$ $y$ $ϵ$ $E(ϵ|X)≠0$ $x$ $y$ $E(ϵ|X)≠0$ peut se produire (voir par exemple le biais de prédicteur manquant).

D'après les commentaires: OP déclare "l'hypothèse de linéarité ne restreint en aucune façon le modèle, étant donné qu'epsilon est arbitraire et peut être n'importe quelle fonction de XX", ce que je suis d'accord. Je pense que cela est rendu clair par les régressions linéaires pouvant s'adapter à toutes les données, que l'hypothèse de linéarité soit ou non violée. Je spécule ici, mais cela pourrait être la raison pour laquelle Greene a choisi de conserver l'erreur dans la formule - en enregistrant pour plus tard - pour indiquer qu'en supposant la linéarité, (et non pas la valeur attendue ) peut être défini sur la base de mais conserve une erreur , quelles que soient les valeurs $ϵ$ $E(ϵ|X)=0$ $y$ $y$ $X$ $ϵ$ $ϵ$ prend. Je peux seulement espérer qu'il déclarera plus tard la pertinence de . $E(ϵ|X)=0$

En bref (certes, sans lire entièrement le livre de Greene et vérifier son argumentation):

Greene fait probablement référence aux bêtas constants pour toute la plage du prédicteur (l'accent doit être mis sur le bêta dans les ou ; $y=Xβ + ϵ$ $E(ϵ|X)=Xβ$
L'hypothèse de linéarité met une certaine structure sur le modèle. Vous devez cependant noter que les transformations ou les ajouts tels que les splines avant la modélisation peuvent rendre les associations non linéaires conformes au cadre de régression linéaire.

— IWS
source

C'est utile, mais l'appel à la continuité n'est en aucun cas nécessaire. Le mécanisme fonctionne de la même manière si est uniquement basé sur des prédicteurs .

X

$X$

(0, 1)

$(0, 1)$

— Nick Cox

Vous avez écrit mais je pense que vous vouliez dire ,.

f (y)

$f(y)$

f (x)

$f(x)$

— Nick Cox

@NickCox J'ai édité ces points.

— IWS

Qu'entendez-vous par normalité? Si vous entendez la normalité, elle est incorrecte car epsilon n'a pas besoin d'être normal pour qu'il ait une espérance conditionnelle de zéro. Mais tu veux dire autre chose? De plus, oui bêta est supposé constant pour toutes les observations. Et que pensez-vous qui ne va pas avec mon argument selon lequel l'hypothèse de linéarité ne restreint en aucune façon le modèle, étant donné que epsilon est arbitraire et peut être n'importe quelle fonction de ? Notez que je sais ce qu'est l'hétéroskédasticité et que la linéarité signifie linéaire dans les paramètres, pas dans les variables.

X

$X$

— user56834

Je suis en désaccord avec cela. L'hypothèse d'attente n'est pas liée à la normalité, mais est absolument nécessaire pour donner un sens à l'hypothèse de linéarité structurelle. Sinon, comme indiqué par l'op, l'hypothèse de linéarité n'a pas de sens. Une hypothèse de normalité est une bête tout à fait différente, et est souvent inutile.

— Matthew Drury

-1

J'étais un peu confus par la réponse ci-dessus, donc je vais lui donner un autre coup. Je pense que la question ne concerne pas réellement la régression linéaire «classique» mais le style de cette source particulière. Sur la partie régression classique:

Cependant, l'hypothèse de linéarité en soi ne met pas de structure sur notre modèle

C'est tout à fait exact. Comme vous l'avez dit, pourrait aussi bien tuer la relation linéaire et additionner quelque chose de complètement indépendant de afin que nous ne puissions calculer aucun modèle du tout. $\epsilon$ $X$

Greene est-il bâclé? Doit-il effectivement avoir écrit: $E(y|X)=Xβ$

Je ne veux pas répondre à la première question, mais permettez-moi de résumer les hypothèses dont vous avez besoin pour la régression linéaire habituelle:

Supposons que vous observez (on vous donne) les points de données et pour . Vous devez supposer que les données vous avez observées proviennent de variables aléatoires indépendantes et identiques telles que ... $x_i \in \mathbb{R}^d$ $y_i \in \mathbb{R}$ $i=1,...,n$ $(x_i, y_i)$ $(X_i, Y_i)$

Il existe un fixe (indépendant de ) tel que pour tout et les variables aléatoires sont telles que $i$ $\beta \in \mathbb{R}^d$ $Y_i = \beta X_i + \epsilon_i$ $i$ $\epsilon_i$
Les sont également iid et est distribué comme ( doit être indépendant de également) $\epsilon_i$ $\epsilon_i$ $\mathcal{N}(0, \sigma)$ $\sigma$ $i$
Pour et les variables ont une densité commune, c'est-à-dire que la variable aléatoire unique a une densité $X = (X_1, ..., X_n)$ $Y = (Y_1, ..., Y_n)$ $X, Y$ $(X, Y)$ $f_{X,Y}$

Vous pouvez maintenant exécuter le chemin habituel et calculer

f_{Y | X} (y | x) = f_{Y, X} (y, x) / f_{X} (x) = {(\frac{1}{\sqrt{2 π d}})}^{n} \exp (\frac{- \sum_{i = 1}^{n} (y_{i} - β x_{i})^{2}}{2 σ})

$f_{Y|X}(y|x) = f_{Y,X}(y,x)/f_X(x) = \left(\frac{1}{\sqrt{2\pi d}}\right)^n \exp{\left( \frac{-\sum_{i=1}^n (y_i - \beta x_i)^2}{2\sigma}\right)}$

de sorte que par la «dualité» habituelle entre l'apprentissage automatique (minimisation des fonctions d'erreur) et la théorie des probabilités (maximisation des probabilités) vous maximisez dans qui, en fait, vous donne les trucs habituels "RMSE". $-\log f_{Y|X}(y|x)$ $\beta$

Maintenant, comme indiqué: si l'auteur du livre que vous citez veut faire valoir ce point (ce que vous devez faire si vous voulez pouvoir calculer la `` meilleure ligne de régression possible '' dans la configuration de base), alors oui, il doit faire cette hypothèse sur la normalité du quelque part dans le livre. $\epsilon$

Il existe maintenant différentes possibilités:

Il n'écrit pas cette hypothèse dans le livre. C'est alors une erreur dans le livre.
Il l'écrit sous la forme d'une remarque «globale» comme «chaque fois que j'écris alors les sont normalement distribués avec une moyenne nulle sauf indication contraire». Ensuite, à mon humble avis, c'est un mauvais style car cela provoque exactement la confusion que vous ressentez en ce moment. C'est pourquoi j'ai tendance à écrire les hypothèses sous une forme abrégée dans chaque théorème. Ce n'est qu'alors que chaque bloc de construction peut être vu proprement en soi. $+ \epsilon$ $\epsilon$
- Il l'écrit étroitement à la partie que vous citez et vous / nous ne l'avons tout simplement pas remarqué (également une possibilité :-))

Cependant, également au sens mathématique strict, l'erreur normale est quelque chose de canonique (la distribution avec l'entropie la plus élevée [une fois que la variance est fixée], d'où la production des modèles les plus forts), de sorte que certains auteurs ont tendance à ignorer cette hypothèse mais à l'utiliser de façon non négligeable . Formellement, vous avez absolument raison: ils utilisent les mathématiques de la «mauvaise façon». Chaque fois qu'ils veulent trouver l'équation pour la densité comme indiqué ci-dessus, ils ont besoin de bien connaître , sinon vous en avez juste des propriétés qui volent dans chaque équation sensée que vous essayez d'écrire . $f_{Y|X}$ $\epsilon$

— Fabian Werner
source

les erreurs n'ont pas besoin d'être distribuées normalement pour utiliser OLS.

— user56834

(-1) Les erreurs n'ont pas besoin d'être distribuées normalement. En fait, ils n'ont même pas besoin d'être indépendants ou distribués de manière identique pour que l'estimation des paramètres soit sans biais et pour que les tests soient cohérents. Vos spécifications beaucoup plus strictes sont nécessaires pour que OLS soit un test exact.

— AdamO

@AdamO: Ah? Alors, comment calculez-vous la probabilité alors? Ou plutôt ... si l'on vous demande d'implémenter une régression linéaire: quelle ligne de régression sélectionnez-vous si l'erreur n'est pas normalement distribuée et que le unique n'est pas indépendant?

ϵ_{i}

$\epsilon_i$

— Fabian Werner

@FabianWerner mon choix de modèle dépend de la question qui se pose. La régression linéaire estime une tendance de premier ordre dans un ensemble de données, une "règle empirique" reliant une différence de X à une différence de Y. Si les erreurs ne sont pas normalement distribuées, le Lindeberg Feller CLT garantit que les CI et les PI sont approximativement corrects même dans de très petits échantillons. Si les erreurs ne sont pas indépendantes (et la structure de dépendance est inconnue), les estimations ne sont pas biaisées bien que les SE puissent être incorrectes. L'estimation de l'erreur sandwich atténue ce problème.

— AdamO