Pourquoi le théorème de Rao-Blackwell requiert-il ?

Les états du théorème de Rao-Blackwell

Soit un estimateur de avec pour tout . Supposons que soit suffisant pour , et que Alors pour tout , L'inégalité est stricte à moins que soit une fonction de $\hat{\theta}$ $\theta$ $\Bbb E (\hat{\theta}^2) < \infty$ $\theta$ $T$ $\theta$ $\theta ^ * = \Bbb E (\hat{\theta}|T)$ $\theta$
$E (θ^{*} - θ)^{2} \leq E (\hat{θ} - θ)^{2}$ $\Bbb E (\theta^* - \theta )^2 \leq \Bbb E (\hat{\theta} - \theta )^2$ $\hat{\theta}$ $T$

Si je comprends bien ce théorème, cela indique que, si j'ai une statistique suffisante pour , alors la valeur attendue conditionnelle de étant donné est la solution à $T$ $\theta$ $\hat{\theta}$ $T$ $\min_{\hat{\theta}} \Bbb E$ $(\hat{\theta}-\theta)^2$

Mes questions

Ai-je raison de penser que $\theta^*$ minimise $\Bbb E$ $(\hat{\theta}-\theta)^2$ ?
Pourquoi le théorème de Rao-Blackwell requiert-il $\Bbb E(\hat{\theta}^2) < \infty$ ?
Pourquoi l'inégalité est-elle stricte à moins que $\hat{\theta}$ soit une fonction de $T$ ?

rao-blackwell

— Stan Shunpike
source

Copie possible de la justification intuitive et formule pour le théorème de Rao-Blackwell

— Xi'an

Que faut-il pour trouver ?

min_{\hat{θ}} E

$\min_{\hat{\theta}} \Bbb E$

(\hat{θ} - θ)^{2}

$(\hat{\theta}-\theta)^2$

— Stan Shunpike

Réponses:

Non, est un meilleur estimateur que mais pas nécessairement le meilleur (quoi que cela signifie!) $\theta^*$ $\hat\theta$
Si l'estimateur n'a pas de variance, alors son risque est infini et rien ne garantit que a un risque fini (même si cela peut se produire comme l'a souligné Horst Grünbusch dans ses commentaires). $\theta^*$
Sous variance finie pour , l'inégalité est stricte en raison de la décomposition de la variance comme la somme de la variance conditionnelle attendue plus la variance de l'espérance conditionnelle Sauf si la variance conditionnelle attendue est nulle, ce qui équivaut à une fonction de uniquement. $\hat\theta$ $var (\hat{θ}) = E_{T} [var (\hat{θ} | T)] + {var}_{T} (E [\hat{θ} | T]) = E_{T} [var (θ | T)] + {var}_{T} (θ^{*})$ $\text{var}(\hat\theta)=\mathbb{E}_T[\text{var}(\hat\theta|T)]+ \text{var}_T(\mathbb{E}[\hat\theta|T])=\mathbb{E}_T[\text{var}(\theta|T)]+\text{var}_T(\theta^*)$ $\hat\theta$ $T$

— Xi'an
source

annonce 2: Pourquoi est-il impossible que ? Considérez comme estimateur pour , où , et un rv non distribué de Cauchy.

E ({\hat{θ}}^{2} | T) < E ({\hat{θ}}^{2}) = \infty

$E(\hat{\theta}^2|T)<E(\hat{\theta}^2)=\infty$

\hat{θ} = X + C

$\hat{\theta} = X + C$

μ

$\mu$

X \sim N (μ, σ^{2})

$X \sim \mathcal{N}(\mu,\sigma^2)$

C

$C$

— Horst Grünbusch

@ HorstGrünbusch Pourquoi la pièce Cauchy s'en irait-elle lorsque vous conditionnez sur ? Aussi n'est pas un estimateur sans biais.

T

$T$

\hat{θ}

$\hat{\theta}$

— dsaxton

@ HorstGrünbusch Il me semble que votre n'a même pas d'attente conditionnelle (puisque n'a pas d'attente), donc serait indéfini.

\hat{θ}

$\hat{\theta}$

∣ T

$\mid T$

C

$C$

θ^{*}

$\theta^\ast$

— Juho Kokkala

OK, tout ce que je voulais, c'était sans variance, non sans attente. ;) Maintenant prendre , ie t de Student distribuée avec 2 degrés de liberté et et indépendant de . La statistique suffisante est clairement . Alors , mais

C

$C$

C \sim t_{2}

$C \sim t_2$

E (C) = 0

$E(C)=0$

C

$C$

X

$X$

X

$X$

E (X + C | X) = E (X | X) + E (C | X) = X + E (C) = X

$E(X+C|X) = E(X|X) + E(C|X) = X + E(C) = X$

\infty = V a r (C) + V a r (X) = V a r (X + C) > V a r (X + C | X) = σ^{2}

$\infty=Var(C) + Var(X) = Var(X+C)>Var(X+C|X)=\sigma^2$

— Horst Grünbusch

Je pense donc qu'il est faux qu'un estimateur de Rao-Blackwell ait nécessairement une variance infinie si l'estimateur d'origine a une variance infinie. (Pourtant, même si les deux variances étaient nécessairement infinies, tiendrait toujours.)

\infty \leq \infty

$\infty \leq \infty$

— Horst Grünbusch

Notez qu'être une statistique suffisante n'est pas unique. Trivialement, toutes les données sont suffisantes, mais conditionner un estimateur sur elles ne change rien. Donc, une statistique suffisante seule n'est pas suffisante (jeu de mots!) Pour avoir une erreur quadratique moyenne minimale. Voir le théorème de Lehmann-Scheffé, qui utilise le théorème de Rao-Blackwell dans la preuve, pour une suffisance suffisante (en fait, étant suffisante et complète).
Si les deux sont infinis, la faible inégalité est toujours vraie. Mais alors, comme contre-exemple, vous pouvez construire une statistique suffisante qui n'est pas une fonction de mais qui a toujours une variance infinie (telle que seulement est valable). $T$ $\leq$

Prenons par exemple , une variable aléatoire distribuée avec et , et comme une autre variable aléatoire indépendante . Le paramètre à estimer est . L'estimateur d'origine est . Une statistique suffisante est bien sûr . L'estimateur Rao-Blackwell et ont tous deux une variance infinie. L'inégalité se maintiendrait donc faiblement. En revanche, n'est pas une simple fonction de $C_1 \sim t_2 + \mu$ $t_2$ $E(C_1) = \mu$ $Var(C_1) = \infty$ $C_2 \sim t_2$ $\mu$ $\hat{\theta} = C_1 + C_2$ $C_1$ $E(\hat{\theta}|C_1)=C_1$ $\hat{\theta}$ $C_1+C_2$ $C_1$ : Cela implique l'autre variable aléatoire, ce serait donc une contradiction avec la dernière phrase à propos de laquelle vous avez posé votre troisième question. En fait, certains manuels admettent une variance infinie pour l'estimateur d'origine, mais à leur tour, ils ne peuvent pas indiquer quand tient. $<$

Si est une fonction de , vous pouvez prouver par le théorème de factorisation que est déjà suffisant pour . Encore une fois, nous finissons par ne rien améliorer. En dehors de ce cas, l'inégalité est stricte, et c'est l'affirmation non triviale du théorème. $\hat{\theta}$ $T$ $\hat{\theta}$ $\theta$

— Horst Grünbusch
source