Décomposition MSE en variance et biais au carré

En montrant que MSE peut être décomposé en variance plus le carré de Bias, la preuve dans Wikipedia a une étape, mise en évidence dans l'image. Comment cela marche-t-il? Comment l'attente est-elle insérée dans le produit de la 3e étape à la 4e étape? Si les deux termes sont indépendants, l'attente ne devrait-elle pas s'appliquer aux deux termes? et s'ils ne le sont pas, cette étape est-elle valable? entrez la description de l'image ici

random-variable expected-value mse

— statBeginner
source

Réponses:

L'astuce est que $\mathbb{E}(\hat{\theta}) - \theta$ est une constante.

— AdamO
source

Oh je vois. La seule inconnue ici est l'estimateur. Droite?

— statBeginner

Oui. Prendre des attentes signifie que l'estimateur va à tout ce qu'il estime, c'est ce qui fait que passe à 0.

E (\hat{θ} - E (\hat{θ}))

$\mathbf{E}(\hat{\theta} - \mathbf{E}(\hat{\theta}))$

— AdamO

Désolé, cette phrase n'a pas beaucoup de sens pour moi. Si un estimateur se tournait vers ce qu'il estimait, cela ne le rendrait-il pas non biaisé? Peut-on l'expliquer en disant = = = 0?

E (\hat{θ} - E (\hat{θ}))

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (E (\hat{θ}))

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (\hat{θ})

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\hat{\theta})$

— user1158559

@ user1158559 le terme du produit au milieu est un temps constant quelque chose avec la valeur attendue 0. Même si le chapeau thêta est biaisé, c'est toujours un temps constant 0.

— AdamO

E (\hat{θ}) - θ

$\mathbb{E}(\hat{\theta}) - \theta$ est une variable et non une constante. De plus, l'astuce est moins triviale et avec une constante ne devient pas 0 par défaut (par exemple ). Le vrai truc réside dans le fait que est la constante (et peut être retirée d'une intégrale) donc

E (c)

$\mathbb{E}(c)$

c

$c$

E ((E (\hat{θ}) - θ)^{2}) \neq 0

$\mathbb{E}((\mathbb{E}(\hat{\theta}) - \theta)^2) \neq 0$

\int x p (x)

$\int x p(x)$

\int (\int x p (x)) p (x) = (\int x p (x)) \int p (x) = (\int x p (x)) 1 = (\int x p (x))

$\int (\int x p(x))p(x) = (\int x p(x)) \int p(x) = (\int x p(x)) 1 = (\int x p(x))$

— Sextus Empiricus

La réponse d'Adam est correcte à propos de l'astuce selon laquelle est une constante. Cependant, cela aide à trouver le résultat final et n'explique pas clairement la question de l'étape spécifique dans l'article de wikipedia (édition: ce que je vois maintenant était ambigu étant le point culminant et l'étape de la ligne trois à la ligne quatre). $E(\hat{\theta}) - \theta$

(notez que la question concerne la variable , qui diffère de la constante dans la réponse d'Adam. J'ai mal écrit dans mon commentaire. Développer les termes pour plus de clarté: la variable est l'estimation , les constantes sont l'attente de cette estimation et la vraie valeur ) $\mathbb{E}\left[\hat{\theta}\right] - \hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right] - \theta$ $\hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right]$ $\theta$

Astuce 1: Considérez

la variable $x=\hat{\theta}$

la constante $a=\mathbb{E}\left[ \hat{\theta} \right]$

et la constante $b = \theta$

Ensuite, la relation peut être écrite facilement en utilisant les règles de transformation exprimant les moments de la variable sur en termes des moments de la variable sur . $x$ $b$ $x$ $a$

$\mathbb{E}\left[(x-b)^n\right] = \sum_{i=0}^{n} \binom{n}{i}\mathbb{E}\left[(x-a)^i\right] (a-b)^{n-i}$

Astuce 2: Pour le deuxième instant, la formule ci-dessus a trois termes dans la somme. Nous pouvons éliminer l'un d'eux (le cas ) parce que $i=1$ $\mathbb{E}\left[(\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right])\right] = \mathbb{E}\left[ \hat{\theta} \right] - \mathbb{E}\left[\mathbb{E}\left[ \hat{\theta} \right]\right] = 0$

Ici, on peut également faire l'argument avec quelque chose étant une constante. À savoir si est une constante et en utilisant , qui est une constante, vous obtenez . $\mathbb{E}(a)=a$ $a$ $a=\mathbb{E}(\theta)$ $\mathbb{E}(\mathbb{E}(\theta))=\mathbb{E}(\theta)$

Plus intuitivement: nous avons fait le moment de sur , égal à un moment central (et les moments centraux impairs sont nuls). Nous obtenons un peu de tautologie. En soustrayant la moyenne de la variable, , nous générons une variable avec une moyenne nulle. Et, la moyenne de «une variable avec zéro moyen» est zéro. $x$ $a$ $\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right]$

L'article de Wikipédia utilise ces deux astuces respectivement dans la troisième et la quatrième ligne.

L'attente imbriquée dans la troisième ligne

$\mathbb{E}\left[(\hat{\theta} -\mathbb{E}(\hat{\theta}))(\mathbb{E}({\hat{\theta}})-\theta) \right]$

est simplifié en prenant la partie constante dehors (astuce 1). $(\mathbb{E}({\hat{\theta}})-\theta)$
Le terme est résolu (comme égal à zéro) en utilisant le fait que la variable a un zéro moyen (astuce 2). $\mathbb{E}\left(\hat{\theta} -\mathbb{E}(\hat{\theta})\right)$ $\hat{\theta} -\mathbb{E}(\hat{\theta})$

— Sextus Empiricus
source

$E(\hat{\theta}) - \theta$ n'est pas une constante.

Le commentaire de @ user1158559 est en fait le bon:

E [\hat{θ} - E (\hat{θ})] = E (\hat{θ}) - E [E (\hat{θ})] = E (\hat{θ}) - E (\hat{θ}) = 0

$E[\hat{\theta} - E(\hat{\theta})] = E(\hat{\theta}) - E[E(\hat{\theta})] = E(\hat{\theta}) - E(\hat{\theta}) = 0$

— petit monstre
source

Je ne vois pas ce que tu essaies de montrer. Le biais peut également ne pas être nul, mais cela ne signifie pas qu'il ne s'agit pas d'une constante.

— Michael R. Chernick

Ce n'est pas une constante car où est une donnée d'apprentissage donnée, qui est également une variable aléatoire. Ainsi, son attente n'est pas une constante.

\hat{θ} = f (D)

$\hat{\theta} = f(D)$

D

$D$

— little_monster

De plus, le fait qu'il ne s'agisse pas d'une constante ou non ne peut pas expliquer comment l'étape 4 est possible à partir de l'étape 3. En revanche, le commentaire de @ user1158559 l'explique.

— little_monster

@Michael, il y a eu confusion sur la question. La partie en surbrillance contient cette expression , mais dans le texte de la question, il est mentionné que c'est à la place sur le passage de la troisième ligne à la quatrième ligne, modifiant l'imbrication des attentes.

E (\hat{θ} - E (\hat{θ})) = 0

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}) )=0$

— Sextus Empiricus