Problème avec la preuve de l'attente conditionnelle comme meilleur prédicteur

19

J'ai un problème avec la preuve de

$E(Y|X) \in \arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

qui révèlent très probablement une incompréhension plus profonde des attentes et des attentes conditionnelles.

La preuve que je connais va comme suit (une autre version de cette preuve peut être trouvée ici )

\begin{aligned} \arg min_{g (X)} E [(Y - g (x))^{2}] \\ = & \arg min_{g (X)} E [(Y - E (Y | X) + E (Y | X) - g (X))^{2}] \\ = & \arg min_{g (x)} E [(Y - E (Y | X))^{2} + 2 (Y - E (Y | X)) (E (Y | X) - g (X)) + (E (Y | X) - g (X))^{2}] \\ = & \arg min_{g (x)} E [2 (Y - E (Y | X)) (E (Y | X) - g (X)) + (E (Y | X) - g (X))^{2}] \end{aligned}

$\begin{align*} &\arg \min_{g(X)} E\Big[\big(Y - g(x)\big)^2\Big]\\ = &\arg \min_{g(X)} E \Big[ \big(Y - E(Y|X) + E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ \big(Y - E(Y|X)\big)^2 + 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ =&\arg \min_{g(x)} E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]\\ \end{align*}$

La preuve continue ensuite généralement avec un argument montrant que $2 E\Big[ \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big)\Big] = 0$ , et donc

\begin{aligned} \arg min_{g (x)} E [(Y - g (x))^{2}] = \arg min_{g (x)} E [(E (Y | X) - g (X))^{2}] \end{aligned}

$\begin{align*} \arg \min_{g(x)} E\Big[\big(Y - g(x)\big)^2\Big] = \arg \min_{g(x)} E \Big[\big(E(Y|X) - g(X)\big)^2\Big] \end{align*}$

qui peut être considéré comme minimisé lorsque $g(X) = E(Y|X)$ .

Mes puzzles sur la preuve sont les suivants:

Considérer

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big]$ .

Il me semble que, indépendamment de tout argument montrant que le premier terme est toujours égal à zéro, on peut voir que la définition de $g(X) = E(Y|X)$ minimise l'expression car elle implique $\big(E(Y|X) - g(X)\big) =0$ et donc

$E \Big[ 2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) + \big(E(Y|X) - g(X)\big)^2\Big] = E( 0 + 0)$ = 0.

Mais si cela est vrai, alors on pourrait répéter la preuve en remplaçant par n'importe quelle autre fonction de , disons , et arriver à la conclusion que c'est qui minimise l'expression. Il doit donc y avoir quelque chose que je ne comprends pas (non?). $E(Y|X)$ $X$ $h(X)$ $h(X)$

J'ai quelques doutes sur la signification de dans l'énoncé du problème. Comment interpréter la notation? Est-ce que ça veut dire que $E[(Y−g(X))^2]$

$E_X[(Y−g(X))^2]$ , ou ? $E_Y[(Y−g(X))^2]$ $E_{XY}[(Y−g(X))^2]$

— Martin Van der Linden
source

11

(Il s'agit d'une adaptation de Granger et Newbold (1986) "Forecasting Economic Time Series").

Par construction, votre fonction de coût d'erreur est . Ceci incorpore une hypothèse critique (que la fonction de coût d'erreur est symétrique autour de zéro) - une fonction de coût d'erreur différente n'aurait pas nécessairement la valeur attendue conditionnelle comme de sa valeur attendue. Vous ne pouvez pas minimiser votre fonction de coût d'erreur car elle contient des quantités inconnues. Vous décidez donc de minimiser sa valeur attendue à la place. Ensuite, votre fonction objective devient $\left[Y-g(X)\right]^2$ $\arg \min$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} {[y - g (X)]}^{2} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}\left[y-g(X)\right]^2f_{Y|X}(y|x)dy$

qui, je crois, répond également à votre deuxième question. Il est intuitif que la valeur attendue sera de conditionnelle à , puisque nous essayons d'estimer / prévision basée sur . Décomposer le carré pour obtenir $Y$ $X$ $Y$ $X$

E {[Y - g (X)]}^{2} = \int_{- \infty}^{\infty} y^{2} f_{Y | X} (y | x) d y - 2 g (X) \int_{- \infty}^{\infty} y f_{Y | X} (y | x) d y + [g (X)]^{2} \int_{- \infty}^{\infty} f_{Y | X} (y | x) d y

$E\left[Y-g(X)\right]^2 = \int_{-\infty}^{\infty}y^2f_{Y|X}(y|x)dy -2g(X)\int_{-\infty}^{\infty}yf_{Y|X}(y|x)dy \\+ \Big[g(X)\Big]^2\int_{-\infty}^{\infty}f_{Y|X}(y|x)dy$

Le premier terme ne contient pas donc il n'affecte pas la minimisation et il peut être ignoré. L'intégrale dans le deuxième terme est égale à la valeur attendue conditionnelle de étant donné , et l'intégrale dans le dernier terme est égale à l'unité. Donc $g(X)$ $Y$ $X$

\arg min_{g (x)} E {[Y - g (X)]}^{2} = \arg min_{g (x)} {- 2 g (X) E (Y ∣ X) + [g (X)]^{2}}

$\arg \min_{g(x)} E\left[Y-g(X)\right]^2 = \arg \min_{g(x)} \Big\{ -2g(X)E(Y\mid X) + \Big[g(X)\Big]^2 \Big\}$

La dérivée première wrt est conduisant à la condition de premier ordre pour la minimisation tandis que la dérivée seconde est égale à ce qui est suffisant pour un minimum. $g(X)$ $-2E(Y\mid X) + 2g(X)$ $g(X) = E(Y\mid X)$ $2>0$

ADDENDUM: La logique de l'approche de preuve "ajouter et soustraire".

Le PO est intrigué par l'approche énoncée dans la question, car elle semble tautologique. Ce n'est pas le cas, car en utilisant la tactique d'addition et de soustraction, une partie spécifique de la fonction objectif est nulle pour un choix arbitraire du terme qui est ajouté et soustrait, il n'égale PAS la fonction de valeur , à savoir la valeur de l'objectif fonction évaluée au minimiseur candidat.

Pour le choix nous avons la fonction de valeur Pour le choix arbitraire nous avons la fonction funtion . $g(X) = E(Y \mid X)$ $V\left(E(Y\mid X)\right) = E\Big[ (Y-E(Y \mid X))^2\mid X\Big]$ $g(X) = h(X)$ $V\left(h(X)\right) = E\Big[ (Y-h(X))^2\mid X\Big]$

Je prétends que

V (E (Y ∣ X)) \leq V (h (X))

$V\left(E(Y\mid X)\right) \le V\left(h(X)\right)$

\Rightarrow E (Y^{2} ∣ X) - 2 E [(Y E (Y ∣ X)) ∣ X] + E [(E (Y ∣ X))^{2} ∣ X] \leq E (Y^{2} ∣ X) - 2 E [(Y h (X)) ∣ X] + E [(h (X))^{2} ∣ X]

$\Rightarrow E(Y^2\mid X) -2E\Big [(YE(Y \mid X))\mid X\Big] + E\Big [(E(Y \mid X))^2\mid X\Big] \\\le E(Y^2\mid X) -2E\Big [(Yh(X))\mid X\Big] + E\Big [(h(X))^2\mid X\Big]$

Le premier terme du LHS et du RHS s'annule. A noter également que l'attente extérieure est conditionnelle à . Par les propriétés des attentes conditionnelles, nous nous retrouvons avec $X$

. . . \Rightarrow - 2 E (Y ∣ X) \cdot E (Y ∣ X) + [E (Y ∣ X)]^{2} \leq - 2 E (Y ∣ X) h (X) + [h (X)]^{2}

$...\Rightarrow -2E(Y \mid X)\cdot E\Big (Y\mid X\Big) + \Big [E(Y \mid X)\Big]^2 \le -2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [E (Y ∣ X)]^{2} - 2 E (Y ∣ X) h (X) + [h (X)]^{2}

$\Rightarrow 0 \le \Big [E(Y \mid X)\Big]^2-2E(Y\mid X)h(X) + \Big [h(X)\Big]^2$

\Rightarrow 0 \leq [E (Y ∣ X) - h (x)]^{2}

$\Rightarrow 0 \le \Big [E(Y \mid X) - h(x)\Big]^2$ qui tient avec une inégalité stricte si . Donc est le minimiseur global et unique.

h (x) \neq E (Y ∣ X)

$h(x) \neq E(Y \mid X)$

E (Y ∣ X)

$E(Y \mid X)$

Mais cela indique également que l'approche «ajouter et soustraire» n'est pas le moyen de preuve le plus éclairant ici.

— Alecos Papadopoulos
source

Merci pour votre réponse. Cela aide à clarifier ma deuxième question. Comme j'ai essayé de le transmettre dans le titre de la question, mon principal problème (le premier dans le message) concernait davantage le mécanisme de preuve. Ma principale préoccupation concerne ma compréhension de la preuve que j'ai présentée dans la question. Comme je l'ai expliqué, ma compréhension de la preuve m'amène à une déclaration manifestement problématique. Je voudrais donc comprendre où est mon erreur car elle pourrait révéler des malentendus plus profonds sur les concepts d'attente et d'attente conditionnelle. Des pensées à ce sujet?

— Martin Van der Linden du

1

J'ai ajouté quelques explications sur l'approche «ajouter et soustraire» à la preuve.

— Alecos Papadopoulos

Cela m'a pris un certain temps pour le comprendre, mais j'ai finalement eu mon erreur de base: assez vrai lorsque , mais cela n'implique nullement que minimise l'expression . Il n'y a aucune raison pour que l'expression entre crochets ne puisse pas être inférieure à zéro. En raison du signe moins devant on pourrait trouver un tel que .

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] = 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] = 0$

g (X) = h (X)

$g(X) = h(X)$

h (X)

$h(X)$

(Y - h (X)) (h (X) - g (X))

$\big(Y - h(X) \big) \big(h(X) - g(X)\big)$

g (X)

$g(X)$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}] < 0

$E \Big[ - 2 \big(Y - h(X) \big) \big(h(X) - g(X)\big) + \big(h(X) - g(X)\big)^2\Big] < 0$

— Martin Van der Linden

1

Hmmm ... le signe moins dans l'expression à laquelle vous faites référence est une erreur - ce devrait être un signe plus. Vous pouvez bien sûr réorganiser les termes pour obtenir à nouveau un signe moins ... cela nuit-il à l'intuition que vous avez acquise?

— Alecos Papadopoulos

Merci d'avoir répondu à la question. J'ai édité le post initial pour corriger cette erreur. Heureusement, je pense que cela ne nuit pas à l'intuition acquise. En fait, cela m'aide à comprendre une autre erreur: je supposais que le signe moins était important pour garantir que n'était pas nécessairement le minimum de . Mais je sais que ce n'est pas seulement le signe avant 2. (Si tout va bien) Ce que je avais vraiment besoin de comprendre est que, en général ( par exemple pour arbitraire ) n'a pas besoin d'être minimisé lorsque (non?).

0

$0$

E [- 2 (Y - h (X)) (h (X) - g (X)) + (h (X) - g (X))^{2}]

$E[−2(Y−h(X))(h(X)−g(X))+(h(X)−g(X))^2]$

h (X)

$h(X)$

E [2 (Y - h (X)) (h (X) - g (X))]

$E[2(Y−h(X))(h(X)−g(X))]$

g (X) = h (X)

$g(X)=h(X)$

— Martin Van der Linden

5

Notez que pour prouver la réponse, il vous suffit de montrer que

E [- 2 (Y - E (Y | X)) (E (Y | X) - g (X))] = 0

$E \Big[ -2 \big(Y - E(Y|X)\big) \big(E(Y|X) - g(X)\big) \Big] = 0$

Quant à savoir quelle attente prendre, vous la prenez conditionnellement, sinon le terme

\arg min_{g (X)} E [(Y - g (X))^{2}]

$\arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big]$

Cela n'a pas de sens, car est une variable aléatoire si est et non . Montrez que vous devez vraiment écrire ou pour que cela soit clair. Maintenant, étant donné cette clarification, le terme est une constante, et peut être tiré en dehors de l'expecation, et vous avez: $g(X)$ $E$ $E_{XY}$ $E_{Y|X}$ $E\Big[\big(Y - g(X)\big)^2|X\Big]$ $E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]$ $\big(E(Y|X) - g(X)\big)$

- 2 (E (Y | X) - g (X)) E [(Y - E (Y | X)) | X] = - 2 (E (Y | X) - g (X)) [E (Y | X) - E [E (Y | X) | X]] = - 2 (E (Y | X) - g (X)) [E (Y | X) - E (Y | X)] = 0

Vous pouvez donc écrire la fonction objectif comme:

E_{Y | X} [(Y - g (X))^{2}] = E_{Y | X} [(Y - E_{Y | X} (Y | X))^{2}] + (E_{Y | X} (Y | X) - g (X))^{2}

$E_{Y|X}\Big[\big(Y - g(X)\big)^2\Big]=E_{Y|X}\Big[\big(Y - E_{Y|X}(Y|X)\big)^2\Big]+\big(E_{Y|X}(Y|X) - g(X)\big)^2$

Le minimiseur est évident d'ici. Notez que si vous faites également une moyenne sur , un argument très similaire peut être utilisé pour montrer: $X$

E_{X} [(E (Y | X) - g (X))^{2}] = E_{X} [(E_{Y | X} (Y | X) - E_{X} [E_{Y | X} (Y | X)])^{2}] + (E_{X} [E_{Y | X} (Y | X)] - E_{X} [g (X)])^{2}

$E_{X}\Big[\big(E(Y|X) - g(X)\big)^2\Big]=E_{X}\Big[\big(E_{Y|X}(Y|X) - E_X\big[E_{Y|X}(Y|X)\big]\big)^2\Big]+\Big(E_{X}\big[E_{Y|X}(Y|X)\big] - E_X\big[g(X)\big]\Big)^2$

Cela montre que si vous définissez pour chaque , vous disposez également d'un minimiseur sur cette fonction. Donc, dans un certain sens, peu importe que soit ou . $g(X)=E_{Y|X}(Y|X)$ $X$ $E$ $E_{YX}$ $E_{Y|X}$

— probabilitéislogique
source

3

Il y a un point de vue mathématique qui est très simple. Ce que vous avez, c'est un problème de projection dans un espace de Hilbert, un peu comme projeter un vecteur dans sur un sous-espace. $\mathbb{R}^n$

Soit l'espace de probabilité sous-jacent. Pour que le problème ait un sens, considérons les variables aléatoires avec des seconds moments finis, c'est-à-dire l'espace de Hilbert . Le problème est maintenant le suivant: étant donné , trouver la projection de sur le sous-espace , où est le -subalgebra de générée par . (Tout comme dans le cas des dimensions finies, minimiser la distance à un sous-espace signifie trouver la projection). La projection souhaitée est $(\Omega, \mathcal{F}, \mu)$ $L^2(\Omega, \mathcal{F}, \mu)$ $X, Y \in L^2(\Omega, \mathcal{F}, \mu)$ $Y$ $L^2(\Omega, \mathcal{F}_X, \mu)$ $\mathcal{F}_X$ $\sigma$ $\mathcal{F}$ $X$ $L^2$ $E(X|Y)$ , par construction. (Cela caractérise en fait , si l'on examine la preuve de l'existence). $E(X|Y)$

— Michael
source

Ceci est une belle réponse.

— 2015

0

En ce qui concerne votre dernière question, l'attente peut être soit wrt (l'erreur inconditionnelle) ou wrt (l'erreur conditionnelle à chaque valeur ). Heureusement, minimiser l'erreur conditionnelle à chaque valeur minimise également l'erreur inconditionnelle, ce n'est donc pas une distinction cruciale. $p(x,y)$ $p(y\mid x)$ $X = x$ $X = x$

— Ulisses Braga-Neto
source