Quelle est la relation entre la fonction et la régression linéaire?

Considérez la fonction

$r (x) = E (Y ∣ X = x)$ $r(x) = \mathbb{E}(Y \mid X = x)$

Cela a été appelé la fonction de régression dans un manuel que j'utilise. J'essaie de comprendre la relation entre cette fonction et le modèle de régression linéaire classique.

Donc, je sais que c'est un théorème * que nous pouvons écrire

Y = r (X) + ϵ

$Y = r(X) + \epsilon$

pour une variable aléatoire st . $\epsilon$ $\mathbb{E}(\epsilon) = 0$

Supposons maintenant que nous ayons

$Y = β_{0} + β_{1} X + ϵ$ $Y = \beta_0 + \beta_1 X + \epsilon$

Il s'agit de la fonction de régression unidimensionnelle classique (en supposant que et minimisent la somme résiduelle des carrés). $\beta_0$ $\beta_1$

Question: Est-ce donc un théorème mathématique que si est défini comme ci-dessus, que $Y$

r (X) = E (Y ∣ X) = (β_{0} + β_{1} X) ?

$r(X) = \mathbb{E}(Y \mid X) = (\beta_0 + \beta_1 X)?$

Et est- ce pour cela que la fonction est appelée "fonction de régression"? $\mathbb{E}(Y \mid X)$

EDIT: Le théorème que j'utilise est le suivant (extrait de All of Statistics p. 89):

Les modèles de régression sont parfois écrits comme

$Y = r (X) + ϵ$ $Y = r(X) + \epsilon$
où . Nous pouvons toujours réécrire un modèle de régression de cette façon. Pour voir cela, définissez et donc . De plus, . $\mathbb{E}(\epsilon) = 0$ $\epsilon = Y - r(X)$ $Y = Y + r(X) - r(X) = r(X) + \epsilon$ $\mathbb{E}(\epsilon) = \mathbb{E}\mathbb{E}(\epsilon \mid X) = \mathbb{E}(\mathbb{E}(Y - r(X)) \mid X) = \mathbb{E}(\mathbb{E} ( Y \mid X) - r(X)) = \mathbb{E}(r(X) - r(X)) = 0$

regression linear-model

— George
source

Le lien est qu'un modèle de régression linéaire est exactement l'affirmation selon laquelle est une fonction linéaire de certains X observés. Naturellement, cette affirmation n'a pas besoin d'être vraie, bien qu'en approximation de elle puisse être meilleure ou pire. Le chapitre de «L'économétrie principalement inoffensive», intitulé «Donner du sens à la régression», est une bonne discussion.

r

$r$

r

$r$

— conjugateprior

Ou ai-je raté ce que vous demandiez?

— conjugateprior

Vérifiez la réponse correspondante: stats.stackexchange.com/questions/173660/…

— Tim

Résumant la question:

Étant donné , est-ce donc un théorème mathématique que ? $Y = \beta_0 + \beta_1 X + \varepsilon$ $r(X) = \mathbb{E}(Y \mid X) = (\beta_0 + \beta_1 X)$

Oui, par les propriétés de base de l'attente:

\begin{aligned} E (Y ∣ X) & = E (β_{0} + β_{1} X + ε) \\ = E (β_{0}) + E (β_{1} X) + E (ε) & (linearity of expectation) \\ = β_{0} + β_{1} X + 0 & (Noting that X is constant here \\ because we conditioned on it.) \\ = β_{0} + β_{1} X \end{aligned}

$\begin{align} \operatorname{E}(Y\mid X) & = \operatorname{E}(\beta_0 + \beta_1 X + \varepsilon) \\[6pt] & = \operatorname{E}(\beta_0) + \operatorname{E}(\beta_1 X) + \operatorname{E}(\varepsilon) & & \text{(linearity of expectation)} \\[6pt] & = \beta_0 + \beta_1 X + 0 & & \text{(Noting that $X$ is constant here} \\[-2pt] & & & \quad \text{because we conditioned on it.)} \\[6pt] & = \beta_0 + \beta_1 X \end{align}$

Les raisons historiques pour lesquelles la régression est appelée régression sont liées au fait que Galton a remarqué l'effet de " régression vers la moyenne " - initialement dans une expérience sur des plantes impliquant la taille des graines de la progéniture par rapport à la taille des graines des parents. Une relation à travers la taille moyenne des graines sur les deux variables aura une pente inférieure à (laquelle pente peut être estimée par ce que nous appelons la régression linéaire). Plus la pente est petite, plus l'effet de «régression» est fort. Le problème est illustré par Galton dans le pdf lié par la taille des enfants (en tant qu'adultes) par rapport à la taille moyenne des parents (les femmes étant augmentées d'un facteur constant de pour les rendre comparables aux hommes). Les diagrammes des troisième à cinquième pages indiquent quelque chose de ce qui a été observé. $1$ $8\%$

Ainsi, une tentative d'estimation de la taille de cette "régression vers la moyenne" est obtenue par ce que l'on a appelé la régression linéaire. Bien sûr, il n'y a rien de spécial - la régression vers la moyenne n'est pas une "poussée vers la médiocrité" biologique comme on aurait pu le supposer à l'origine, mais une conséquence assez simple des mathématiques de la situation dans le même sens que les corrélations sont toujours entre et . $-1$ $1$

— Glen_b -Reinstate Monica
source

J'ai remplacé votre utilisation grossière de \ qquad par une utilisation appropriée de "align" dans MathJax, ainsi que quelques autres détails MathJax, et j'attends l'examen par les pairs de l'édition.

$\qquad$

— Michael Hardy

@Michael Je suis conscient de l'alignement et je l'ai utilisé à plusieurs reprises - mais quel est l'avantage réel dans l'édition dans ce cas? Je voulais qu'il soit aligné plutôt que dans le centre pour laisser de la place pour que les commentaires soient sur une seule ligne et je voulais que les commentaires ne soient pas dans le texte épais que MahJax vous laisse, préférant le texte léger du balisage ordinaire. Le résultat actuel est quelque chose qui ne correspond plus à l'apparence que je cherchais réellement. Plutôt que d'être "grossier", il a été délibérément choisi. Si vous avez un moyen d'atteindre ce que je voulais avec moins d' efforts que le mien, je suis tout à fait à l'écoute.

— Glen_b -Reinstate Monica

ok, je suppose que tous les goûts ne sont pas en accord les uns avec les autres

\dots

$\,\ldots\qquad$

— Michael Hardy

L'aspect tel que conçu est idéal, je pense, pour les articles et les livres, mais ne reflète pas toujours ce que je pense être le mieux dans un forum comme celui-ci, du moins pas toujours. Je reconnais que mes goûts sur cette question (et de nombreux autres aspects de l'apparence du site que j'essaie souvent de contourner) peuvent être différents de la norme, donc je vais laisser les choses telles quelles, mais je ne promets pas d'essayer de continuer à essayez de vous aligner pour faire ce que je veux quand il semble plus facile de le faire autrement.

— Glen_b -Reinstate Monica

Le théorème va-t-il aussi dans l'autre sens? Autrement dit, étant donné et , pouvons-nous toujours conclure que pour les les coefficients de régression? Sinon, quelles sont les conditions dans lesquelles nous pouvons et ne pouvons pas dire cela?

X

$X$

Y

$Y$

E (Y ∣ X) = (β_{0} + β_{1} X) + ϵ

$\mathbb{E}(Y \mid X) = (\beta_0 + \beta_1 X) + \epsilon$

β_{0}, β_{1}

$\beta_0, \beta_1$

— George