Une généralisation du droit des attentes itérées

43

Je suis récemment tombé sur cette identité:

E [E (Y | X, Z) | X] = E [Y | X]

$E \left[ E \left(Y|X,Z \right) |X \right] =E \left[Y | X \right]$

Je suis bien sûr familier avec la version simplifiée de cette règle, à savoir que mais je n’ai pas pu trouver de justification pour sa généralisation. $E \left[ E \left(Y|X \right) \right]=E \left(Y\right)$

Je serais reconnaissant si quelqu'un pouvait m'indiquer une référence peu technique pour ce fait ou, mieux encore, si quelqu'un pouvait fournir une simple preuve de ce résultat important.

self-study conditional-probability conditional-expectation

— JohnK
source

2

Si était lui-même conditionné à un certain cela ne tomberait-il pas exactement dans la version la plus simple?

y

$y$

x

$x$

— Mehrdad

36

TRAITEMENT INFORMEL

Nous devons nous rappeler que la notation où nous conditionnons sur des variables aléatoires est imprécise, bien qu'économique, en tant que notation. En réalité, nous conditionnons sur la sigma-algèbre que ces variables aléatoires génèrent. En d'autres termes, signifie . Cette remarque peut sembler déplacée dans un "traitement informel", mais elle nous rappelle que nos entités de conditionnement sont des ensembles d' ensembles (et lorsque nous conditionnons sur une valeur unique, il s'agit d'un ensemble singleton). Et que contiennent ces ensembles? Ils contiennent les informations dont les valeurs possibles de la variable aléatoire nous fournir sur ce qui peut arriver à la réalisation de . $E[Y\mid X]$ $E[Y\mid \sigma(X)]$ $X$ $Y$
Introduire le concept d'information nous permet de réfléchir (et d'utiliser) le droit des attentes itérées (parfois appelé "propriété de tour") de manière très intuitive:
la sigma-algèbre générée par deux variables aléatoires est au moins aussi grand comme celui généré par une variable aléatoire: dans la signification correcte de la théorie des ensembles. Ainsi, les informations sur contenues dans sont au moins aussi importantes que les informations correspondantes dans . Maintenant, comme allusion notative, définissez et . Ensuite, le LHS de l'équation que nous examinons, peut être écrit $\sigma (X) \subseteq \sigma(X,Z)$ $Y$ $\sigma(X,Z)$ $\sigma (X)$
$\sigma (X) \equiv I_x$ $\sigma(X,Z) \equiv I_{xz}$

E [E (Y | I_{x z}) | I_{x}]

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right]$ Décrivant verbalement l'expression ci-dessus, nous avons: "quelle est l'attente de {la valeur attendue de étant donné Information } étant donné que nous avons les informations disponibles seulement ? "

Y

$Y$

I_{x z}

$I_{xz}$

I_{x}

$I_x$

Peut-on en quelque sorte "prendre en compte" ? Non, nous ne connaissons que . Mais si nous utilisons ce que nous avons (comme nous sommes obligés par l'expression que nous voulons résoudre), nous disons essentiellement des choses à propos de sous l'opérateur des attentes, c'est-à-dire que nous disons " ", sans plus - nous venons d'épuiser nos informations. $I_{xz}$ $I_x$ $Y$ $E(Y\mid I_x)$

D'où

E [E (Y | I_{x z}) | I_{x}] = E (Y | I_{x})

$E \left[ E \left(Y|I_{xz} \right) |I_{x} \right] = E\left(Y|I_{x} \right)$

Si quelqu'un d'autre ne le fait pas, je reviendrai pour le traitement formel.

Un (un peu plus) TRAITEMENT FORMEL

Voyons comment deux livres très importants de la théorie des probabilités, Probability and Measure de P. Billingsley (3 e éd.-1995) et D. Williams "Probability with Martingales" (1991), traitent de la question de la "loi des attentes itératives":
Billingsley consacre exactement trois lignes à la preuve. Williams, et je cite, dit

"(la propriété de la tour) est pratiquement immédiate de la définition de l'espérance conditionnelle".

C'est une ligne de texte. La preuve de Billingsley n'est pas moins opaque.

Ils ont bien entendu raison: cette propriété importante et très intuitive de l’espérance conditionnelle découle essentiellement directement (et presque immédiatement) de sa définition. Le seul problème est que, je suppose, cette définition n’est généralement pas enseignée, ou du moins n’est pas mise en évidence, hors probabilité. ou mesurer des cercles théoriques. Mais pour montrer en (presque) trois lignes que la loi des attentes itérées tient, nous avons besoin de la définition de l’attente conditionnelle, ou plutôt de sa propriété qui la définit .

Laisser un espace de probabilité , et une variable aléatoire intégrable . Let un sous -algèbre de , . Alors il existe une fonction qui est , est intégrable et (c'est la propriété qui définit) $(\Omega, \mathcal F, \mathbf P)$ $Y$ $\mathcal G$ $\sigma$ $\mathcal F$ $\mathcal G \subseteq \mathcal F$ $W$ $\mathcal G$

E (W \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in G [1]

$E(W\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal G \qquad [1]$

où est la fonction indicatrice de l'ensemble . Nous disons que est ("une version de") l'attente conditionnelle de donnée , et nous écrivons Le détail essentiel à noter ici est que l'attente conditionnelle , a la même valeur que prévu ne, pas seulement sur l'ensemble , mais dans tous les sous - ensemble de . $1_{G}$ $G$ $W$ $Y$ $\mathcal G$ $W = E(Y\mid \mathcal G) \;a.s.$
$Y$ $\mathcal G$ $G$ $\mathcal G$

(J'essaierai maintenant de présenter comment la propriété Tower découle de la définition de l'espérance conditionnelle).

$W$ est une variable aléatoire . Considérons alors une sous -algèbre, dire . Alors . Ainsi, d'une manière analogue comme précédemment, nous avons l'espérance conditionnelle de donnée , par exemple cela est caractérisé par $\mathcal G$ $\sigma$ $\mathcal H \subseteq \mathcal G$ $G\in \mathcal H \Rightarrow G\in \mathcal G$ $W$ $\mathcal H$ $U=E(W\mid \mathcal H) \;a.s.$

E (U \cdot 1_{G}) = E (W \cdot 1_{G}) \forall G \in H [2]

$E(U\cdot\mathbb 1_{G}) = E(W\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [2]$

Depuis , les équations et nous donnent $\mathcal H \subseteq \mathcal G$ $[1]$ $[2]$

E (U \cdot 1_{G}) = E (Y \cdot 1_{G}) \forall G \in H [3]

$E(U\cdot\mathbb 1_{G}) = E(Y\cdot \mathbb 1_{G})\qquad \forall G \in \mathcal H \qquad [3]$

Mais c'est la propriété déterminante de l'espérance conditionnelle de donné . $Y$ $\mathcal H$ Nous avons donc le droit d'écrire nous avons aussi par construction , nous venons de prouver la propriété Tower, ou le forme générale de la loi des attentes itérées - en huit lignes. $U=E(Y\mid \mathcal H)\; a.s.$
$U = E(W\mid \mathcal H) = E\big(E[Y\mid \mathcal G]\mid \mathcal H\big)$

— Alecos Papadopoulos
source

6

(+1) C'est un moyen utile de décrire un concept abstrait et difficile. Je crois cependant que la phrase "... n'est pas plus grande ..." devrait être "n'est pas plus petite". Mieux encore, cette section pourrait être plus clair en supprimant les négatifs et en utilisant une construction parallèle, comme dans « L'algèbre sigma générée par deux variables est au moins aussi grande que celle générée par une variable aléatoire ... Donc , les informations sur contenu dans est au moins aussi grande que l'information correspondante dans . "

Y

$Y$

σ (X, Z)

$\sigma(X,Z)$

σ (X)

$\sigma(X)$

— whuber

Merci à vous deux, cc @whuber. C'est un théorème très utile.

— JohnK

@ Whuber Merci d'avoir remarqué cela - et pour la suggestion.

— Alecos Papadopoulos

24

La façon dont je comprends les attentes conditionnelles et enseigne à mes étudiants est la suivante:

espérance conditionnelle est une image prise par un appareil photo avec une résolution $E[Y|\sigma(X)]$ $\sigma(X)$

Comme mentionné par Alecos Papadopoulos, la notation est plus précise que . Le long de la ligne de la caméra, on peut considérer comme l’objet original, par exemple un paysage, un paysage. est une image prise par un appareil photo avec une résolution . L'attente est un opérateur de calcul de la moyenne (opérateur "flou"?). La scène peut contenir beaucoup de choses, mais la photo que vous avez prise avec une caméra à basse résolution fera certainement disparaître certains détails, par exemple, il peut y avoir un OVNI dans le ciel qui peut être vu à l'oeil nu apparaître dans votre photo prise par (iphone 3?) $E[Y|\sigma(X)]$ $E[Y|X]$ $Y$ $E[Y|\sigma(X,Z)]$ $\sigma(X,Z)$

Si la résolution est si élevée que , cette image est capable de capturer tous les détails de la scène réelle. Dans ce cas, nous avons . $\sigma(X,Z)=\sigma(Y)$ $E[Y|\sigma(Y)]=Y$

Maintenant, peut être vu comme: utilisant un autre appareil photo avec une résolution (par exemple, iphone 1) qui est inférieure à (par exemple, iphone 3) et prenez une photo sur cette image générée par l'appareil photo avec la résolution , alors il devrait être clair que cette image sur une photo doit être la même que si vous l'aviez initialement utilisez simplement une caméra avec une résolution basse sur la scène. $E[E[Y|\sigma(X,Z)]|\sigma(X)]$ $\sigma(X)$ $\sigma(X,Z)$ $\sigma(X,Z)$ $\sigma(X)$

Ceci fournit une intuition sur . En fait, cette même intuition nous dit que toujours. C’est parce que: si votre première photo est prise par l’iphone 1 (c’est-à-dire en basse résolution) et que vous souhaitez maintenant utiliser un meilleur appareil photo (par exemple, un iphone 3) pour générer une autre photo sur la première photo, peut améliorer la qualité de la première photo. $E[E[Y|X,Z]|X]=E[Y|X]$ $E[E[Y|X]|X,Z]=E[Y|X]$

— KevinKim
source

2

aimer! :) bonne explication.

— jessica

1

@ jessica Je suis content que cela aide :-) Il m'a fallu un certain temps pour trouver cette explication

— KevinKim

21

Dans la loi de l'attente itérée (LIE), , cette attente interne est une variable aléatoire qui se trouve être une fonction de , disons , et non une fonction de . Le fait que l'attente de cette fonction de égale à l'attente de est une conséquence d'un LIE. Tout ce que ceci est, en agitant de la main, juste l'affirmation que la valeur moyenne de peut être trouvée en faisant la moyenne des valeurs moyennes de dans diverses conditions. En réalité, tout cela n’est qu’une conséquence directe de la loi de la probabilité totale. Par exemple, si et $E\left[E[Y \mid X]\right] = E[Y]$ $X$ $g(X)$ $Y$ $X$ $Y$ $Y$ $Y$ $X$ $Y$ sont des variables aléatoires discrètes avec joint pmf , puis \ scriptstyle {\ text {RV} ~ E [Y \ mid X] ~ \ text {a une valeur} ~ E [Y \ mid X = x] ~ \ text {quand} ~ X = x} \ end {align} Notice comment cette dernière attente est par rapport à ; $p_{X,Y}(x,y)$

\begin{aligned} E [Y] & = \sum_{y} y \cdot p_{Y} (y) & definition \\ = \sum_{y} y \cdot \sum_{x} p_{X, Y} (x, y) & write in terms of joint pmf \\ = \sum_{y} y \cdot \sum_{x} p_{Y ∣ X} (y ∣ X = x) \cdot p_{X} (x) & write in terms of conditional pmf \\ = \sum_{x} p_{X} (x) \cdot \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) & interchange order of summation \\ = \sum_{x} p_{X} (x) \cdot E [Y ∣ X = x] & inner sum is conditional expectation \\ = E [E [Y ∣ X]] & RV E [Y ∣ X] has value E [Y ∣ X = x] when X = x \end{aligned}

$\begin{align} E[Y] &= \sum_y y\cdot p_Y(y) &\scriptstyle{\text{definition}}\\ &= \sum_y y \cdot \sum_x p_{X,Y}(x,y) &\scriptstyle{\text{write in terms of joint pmf}}\\ &= \sum_y y \cdot \sum_x p_{Y\mid X}(y \mid X=x)\cdot p_X(x) &\scriptstyle{\text{write in terms of conditional pmf}}\\ &= \sum_x p_X(x)\cdot \sum_y y \cdot p_{Y\mid X}(y \mid X=x) &\scriptstyle{\text{interchange order of summation}}\\ &= \sum_x p_X(x)\cdot E[Y \mid X = x] &\scriptstyle{\text{inner sum is conditional expectation}}\\ &= E\left[E[Y\mid X]\right] &\scriptstyle{\text{RV}~E[Y\mid X]~\text{has value}~E[Y\mid X=x]~\text{when}~X=x} \end{align}$

X

$X$

E [Y ∣ X]

$E[Y\mid X]$ est une fonction de , et non de , mais néanmoins sa moyenne est la même que la moyenne de .

X

$X$

Y

$Y$

Y

$Y$

Le LIE généralisé que vous regardez a à gauche dans lequel l'attente interne est une fonction de deux variables aléatoires et . L'argument est similaire à celui décrit ci-dessus, mais nous devons maintenant montrer que la variable aléatoire est égale à une autre variable aléatoire. Nous faisons cela en regardant la valeur de quand a la valeur . Sauter les explications, nous avons cela $E\left[E[Y \mid X, Z] \mid X\right]$ $h(X,Z)$ $X$ $Z$ $E[Y\mid X]$ $E[Y\mid X]$ $X$ $x$

\begin{aligned} E [Y ∣ X = x] & = \sum_{y} y \cdot p_{Y ∣ X} (y ∣ X = x) \\ = \sum_{y} y \cdot \frac{p_{X, Y} (x, y)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{X, Y, Z} (x, y, z)}{p_{X} (x)} \\ = \sum_{y} y \cdot \frac{\sum_{z} p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \cdot p_{X, Z} (x, z)}{p_{X} (x)} \\ = \sum_{z} \frac{p_{X, Z} (x, z)}{p_{X} (x)} \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot \sum_{y} y \cdot p_{Y ∣ X, Z} (y ∣ X = x, Z = z) \\ = \sum_{z} p_{Z ∣ X} (z ∣ X = x) \cdot E [Y ∣ X = x, Z = z) \\ = E [E [Y ∣ X, Z] ∣ X = x] \end{aligned}

$\begin{align} E[Y \mid X = x] &= \sum_y y\cdot p_{Y\mid X}(y\mid X = x)\\ &= \sum_y y \cdot \frac{p_{X,Y}(x,y)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{X,Y,Z}(x,y,z)}{p_X(x)}\\ &= \sum_y y \cdot \frac{\sum_z p_{Y\mid X,Z}(y \mid X=x, Z=z)\cdot p_{X,Z}(x,z)}{p_X(x)}\\ &= \sum_z \frac{p_{X,Z}(x,z)}{p_X(x)}\sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot \sum_y y \cdot p_{Y\mid X,Z}(y \mid X=x, Z=z)\\ &= \sum_z p_{Z\mid X}(z \mid X=x)\cdot E[Y \mid X=x, Z=z)\\ &= E\left[E[Y\mid X,Z]\mid X = x\right] \end{align}$ Notez que l'avant-dernier côté droit est la formule de la valeur attendue conditionnelle de la variable aléatoireZ] (fonction de et ) conditionné

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

X

$X$

Z

$Z$ sur la valeur de . Nous fixons pour qu'il ait la valeur , en multipliant les valeurs de la variable aléatoire par la valeur pmf conditionnelle de donnée , et en additionnant tous ces termes.

X

$X$

X

$X$

x

$x$

E [Y ∣ X, Z]

$E[Y \mid X, Z]$

Z

$Z$

X

$X$

Ainsi, pour chaque valeur de la variable aléatoire , la valeur de la variable aléatoire (notée précédemment est une fonction de et non de ), est identique à la valeur de la variable aléatoire variable , c'est-à-dire que ces deux variables aléatoires sont égales. Est-ce que je te mentirais? $x$ $X$ $E[Y\mid X]$ $X$ $Y$ $E\left[E[Y \mid X,Z]\mid X\right]$

— Dilip Sarwate
source