Loi de la variance totale comme théorème de Pythagore

Supposons que et ont un second moment fini. Dans l'espace de Hilbert de variables aléatoires de second moment fini (avec le produit interne de défini par , ), nous pouvons interpréter comme la projection de sur l'espace des fonctions de . $X$ $Y$ $T_1,T_2$ $E(T_1T_2)$ $||T||^2=E(T^2)$ $E(Y|X)$ $Y$ $X$

Nous savons également que la loi de la variance totale lit

V une r (Oui) = E (V une r (Oui | X)) + V une r (E (Oui | X))

$Var(Y)=E(Var(Y|X)) + Var(E(Y|X))$

Y a-t-il un moyen d'interpréter cette loi en termes de l'image géométrique ci-dessus? On m'a dit que la loi est la même que le théorème de Pythagore pour le triangle rectangle avec les côtés . Je comprends pourquoi le triangle est à angle droit, mais pas comment le théorème de Pythagore capture la loi de la variance totale. $Y, E(Y|X), Y-E(Y|X)$

variance conditional-expectation

— renrenthehamster
source

Je suppose que vous êtes à l'aise avec le fait de considérer le triangle rectangle comme signifiant que et sont des variables aléatoires non corrélées . Pour les variables aléatoires non corrélées et , et donc si nous définissons et pour que , nous obtenons que Il reste à montrer que est le même que $E[Y\mid X]$ $Y - E[Y\mid X]$ $A$ $B$

\begin{matrix} (1) & var (UNE + B) = var (UNE) + var (B), \end{matrix}

$\operatorname{var}(A+B) = \operatorname{var}(A) + \operatorname{var}(B),\tag{1}$

A = Y - E [Y ∣ X]

$A = Y - E[Y\mid X]$

B = E [Y ∣ X]

$B = E[Y\mid X]$

A + B = Y

$A+B = Y$

\begin{matrix} (2) & var (Oui) = var (Oui - E [Oui ∣ X]) + var (E [Oui ∣ X]) . \end{matrix}

$\operatorname{var}(Y) = \operatorname{var}(Y-E[Y\mid X]) + \operatorname{var}(E[Y\mid X]).\tag{2}$

var (Y - E [Y ∣ X])

$\operatorname{var}(Y-E[Y\mid X])$

E [var (Y ∣ X)]

$E[\operatorname{var}(Y\mid X)]$ afin que nous puissions reformuler comme qui est la formule de variance totale.

(2)

$(2)$

\begin{matrix} (3) & var (Oui) = E [var (Oui ∣ X)] + var (E [Oui ∣ X]) \end{matrix}

$\operatorname{var}(Y) = E[\operatorname{var}(Y\mid X)] + \operatorname{var}(E[Y\mid X])\tag{3}$

Il est bien connu que la valeur attendue de la variable aléatoire est , c'est-à-dire . Nous voyons donc que d'où il s'ensuit que , c'est-à-dire Soit la variable aléatoire pour que nous puissions écrire ce Mais, où $E[Y\mid X]$ $E[Y]$ $E\biggr[E[Y\mid X]\biggr] = E[Y]$

E [A] = E [Y - E [Y ∣ X]] = E [Y] - E [E [Y ∣ X]] = 0,

$E[A] = E\biggr[Y - E[Y\mid X]\biggr] = E[Y] - E\biggr[E[Y\mid X]\biggr] = 0,$

var (A) = E [A^{2}]

$\operatorname{var}(A) = E[A^2]$

\begin{matrix} (4) & var (Y - E [Y ∣ X]) = E [(Y - E [Y ∣ X])^{2}] . \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E\left[(Y-E[Y\mid X])^2\right].\tag{4}$

C

$C$

(Y - E [Y ∣ X])^{2}

$(Y-E[Y\mid X])^2$

\begin{matrix} (5) & var (Y - E [Y ∣ X]) = E [C] . \end{matrix}

$\operatorname{var}(Y-E[Y\mid X]) = E[C].\tag{5}$

E [C] = E [E [C ∣ X]]

$E[C] = E\biggr[E[C\mid X]\biggr]$

E [C ∣ X] = E [(Y - E [Y ∣ X])^{2} | X] .

$E[C\mid X] = E\biggr[(Y-E[Y\mid X])^2{\bigr\vert} X\biggr].$ Maintenant, étant donné que , la distribution conditionnelle de a la moyenne et donc En d'autres termes, sorte que la variable aléatoire soit juste . Par conséquent, qui lors de la substitution en montre cette

X = x

$X = x$

Y

$Y$

E [Y ∣ X = x]

$E[Y\mid X=x]$

E [(Oui - E [Oui ∣ X = X])^{2} | X = X] = var (Oui ∣ X = X) .

$E\biggr[(Y-E[Y\mid X=x])^2{\bigr\vert} X=x\biggr] = \operatorname{var}(Y\mid X = x).$

E [C ∣ X = x] = var (Y ∣ X = x)

$E[C\mid X = x] = \operatorname{var}(Y\mid X = x)$

E [C ∣ X]

$E[C\mid X]$

var (Y ∣ X)

$\operatorname{var}(Y\mid X)$

\begin{matrix} (6) & E [C] = E [E [C ∣ X]] = E [var (Y ∣ X)], \end{matrix}

$E[C] = E\biggr[E[C\mid X]\biggr] = E[\operatorname{var}(Y\mid X)], \tag{6}$

(5)

$(5)$

var (Y - E [Y ∣ X]) = E [var (Y ∣ X)] .

$\operatorname{var}(Y-E[Y\mid X]) = E[\operatorname{var}(Y\mid X)].$ Cela rend le côté droit de exactement ce dont nous avons besoin et nous avons donc prouvé la formule de variance totale .

(2)

$(2)$

(3)

$(3)$

— Dilip Sarwate
source

Y - E (Y | X)

$Y-E(Y|X)$ est une variable avec une moyenne nulle. D'où . Maintenant . Deuxième partie un peu moins compliquée de la réponse.

v a r (Y - E (Y | X)) = E [Y - E (Y | X)]^{2}

$var(Y-E(Y|X))=E[Y-E(Y|X)]^2$

E v a r (Y | X) = E [E ((Y - E (Y | X))^{2} | X)] = E [Y - E (Y | X)]^{2}

$Evar(Y|X)=E[E((Y-E(Y|X))^2|X)]=E[Y-E(Y|X)]^2$

— mpiktas

@mpiktas Merci. Je suis conscient de la manière la plus courte d'arriver au résultat souhaité, mais j'ai toujours du mal à l'expliquer de manière à ce que les étudiants débutants puissent suivre facilement. Soit dit en passant, dans la dernière équation que vous avez écrite, la quantité à droite a un exposant mal placé: c'est la quantité entre crochets qui doit être mise au carré; c'est-à-dire que ce devrait être . Trop tard pour le corriger, cependant, à moins qu'un modérateur n'oblige.

E [(Y - E [Y | X])^{2}]

$E\bigr[(Y-E[Y|X])^2\bigr ]$

— Dilip Sarwate du

Dilip, de nombreux probabilistes interpréteraient correctement l'équation de @ mpiktas telle qu'elle est écrite; le jeu de parenthèses supplémentaire est souvent supprimé. Peut-être que mes yeux me trompent, mais je pense que sa notation est cohérente partout. Je suis heureux de vous aider à arranger les choses, si vous le souhaitez, cependant. :-)

— Cardinal

@cardinal Je n'ai pas mal interprété l'écriture de mpiktas et j'ai bien compris ce qu'il disait. Bien que je sois également habitué à interpréter ou comme la valeur attendue de , j'ai toujours des doutes sur , d'autant plus que PEMDAS n'en dit rien. L'attente a-t-elle priorité sur l'exponentiation ou non? Je suppose que je suis juste habitué à ce que l'opérateur d'attente s'applique à tout ce qui se trouve entre crochets. Veuillez ne pas modifier le commentaire de m [iktas, mais si vous souhaitez supprimer tout ce qui se trouve dans ce fil de "Incidemment" dans mon commentaire précédent, veuillez continuer.

E X

$EX$

E X

$\mathbb EX$

X

$X$

E X^{2}

$EX^2$

— Dilip Sarwate du

Je suis désolé, @Dilip. Mon intention n'était pas de suggérer que vous ne compreniez pas; Je savais que tu l'avais! Je conviens également que la notation peut se prêter à des ambiguïtés et il est bon de les signaler lorsqu'elles se présentent! Ce que je voulais dire, c'est que je pensais que la deuxième équation dans le commentaire (c'est-à-dire ) la convention qui était utilisée désormais. :-)

v a r \dots

$var\ldots$

— Cardinal

Déclaration:

Le théorème de Pythagore dit, pour tout élément et d'un espace de produit intérieur avec des normes finies telles que , En d'autres termes, pour les vecteurs orthogonaux, la longueur au carré de la somme est la somme des longueurs au carré. $T_1$ $T_2$ $\langle T_1,T_2\rangle = 0$

\begin{matrix} (1) & | | T_{1} + T_{2} | |^{2} = | | T_{1} | |^{2} + | | T_{2} | |^{2} . \end{matrix}

$||T_1+T_2||^2 = ||T_1||^2 + ||T_2||^2 \tag{1}.$

Notre cas:

Dans notre cas, et sont des variables aléatoires, la norme au carré est et le produit intérieur . La traduction en langage statistique nous donne: car . Nous pouvons faire en sorte que cela ressemble davantage à votre loi de variance totale si nous changeons en ... $T_1 = E(Y|X)$ $T_2 = Y - E[Y|X]$ $||T_i||^2 = E[T_i^2]$ $\langle T_1,T_2\rangle = E[T_1T_2]$ $(1)$

\begin{matrix} (2) & E [{Oui}^{2}] = E [{E (Oui | X)}^{2}] + E [(Oui - E [Oui | X])^{2}], \end{matrix}

$E[Y^2] = E[\{E(Y|X)\}^2] + E[(Y - E[Y|X])^2] \tag{2},$

E [T_{1} T_{2}] = Cov (T_{1}, T_{2}) = 0

$E[T_1T_2] = \operatorname{Cov}(T_1,T_2) = 0$

(2)

$(2)$

Soustrayez des deux côtés, en faisant le côté gauche , $(E[Y])^2$ $\operatorname{Var}[Y]$
Notant à droite que , $E[\{E(Y|X)\}^2] - (E[Y])^2 = \operatorname{Var}(E[Y|X])$
Notant que . $E[(Y - E[Y|X])^2] = E[E\{(Y - E[Y|X])^2\}|X] = E[\operatorname{Var}(Y|X)]$

Pour plus de détails sur ces trois points, voir le post de @ DilipSarwate. Il explique tout cela plus en détail que moi.

— Taylor
source