Théorème de la limite centrale pour les racines carrées des sommes des variables aléatoires iid

Intrigué par une question à math.stackexchange , et en l'examinant empiriquement, je me pose des questions sur l'énoncé suivant sur la racine carrée des sommes des variables aléatoires iid.

Supposons que sont des variables aléatoires iid avec une moyenne finie et une variance et . Le théorème de limite centrale dit lorsque augmente. $X_1, X_2, \ldots, X_n$ $\mu$ $\sigma^2$ $\displaystyle Y=\sum_{i=1}^n X_i$ $\displaystyle \dfrac{Y - n\mu}{\sqrt{n\sigma^2}} \ \xrightarrow{d}\ N(0,1)$ $n$

Si , puis-je également dire quelque chose comme lorsque augmente? $Z=\sqrt{|Y|}$ $\displaystyle \dfrac{Z - \sqrt{n |\mu|-\tfrac{\sigma^2}{4|\mu|}}}{\sqrt{\tfrac{\sigma^2}{4|\mu|}}}\ \xrightarrow{d}\ N(0,1)$ $n$

Par exemple, supposons que les $X_i$ soient Bernoulli avec la moyenne $p$ et la variance $p(1-p)$ , alors $Y$ est binomial et je peux simuler cela dans R, disons avec $p=\frac13$ :

set.seed(1)
cases <- 100000
n <- 1000
p <- 1/3
Y <- rbinom(cases, size=n, prob=p)
Z <- sqrt(abs(Y))

ce qui donne approximativement la moyenne et la variance espérées pour $Z$

> c(mean(Z), sqrt(n*p - (1-p)/4))
[1] 18.25229 18.25285
> c(var(Z), (1-p)/4)
[1] 0.1680012 0.1666667

et un tracé QQ qui ressemble à de la gaussienne

qqnorm(Z)

normal-distribution central-limit-theorem sum

— Henri
source

@MichaelM: Merci pour ces commentaires. J'avais commencé avec le non négatif, mais je pensais que le comportement asymptotique intuitif que vous décrivez permettait une généralisation à plus de distributions. Mes surprises ont été (a) la variance de la racine carrée de la somme tendant apparemment à une constante ne dépendant pas de et (b) l'apparition d'une distribution qui semble très proche de la gaussienne. Un contre-exemple serait le bienvenu, mais lorsque j'ai essayé d'autres cas qui semblaient initialement non gaussiens, l'augmentation de semblait encore ramener la distribution à un résultat de type CLT.

X_{i}

$X_i$

n

$n$

n

$n$

— Henry

Un corollaire de cela est la racine quadratique moyenne (ou moyenne quadratique) des variables aléatoires iid convenablement mises à l'échelle (multiplier par comme avec une moyenne arithmétique) converge également vers une distribution gaussienne à condition que le e moment de la la distribution sous-jacente est finie.

\sqrt{n}

$\sqrt{n}$

4

$4$

— Henry

Juste un petit commentaire: la revendication est un cas particulier de la méthode Delta, voir Théorème 5.5.24 dans le livre "Inférence statistique" de Casella & Berger.

— Michael M

@ Michael: Vous voyez peut-être quelque chose que je ne suis pas pour le moment, mais je ne pense pas que ce problème particulier rentre dans les hypothèses de la méthode Delta classique (par exemple, comme indiqué dans le théorème que vous référencez). Notez que ne converge pas dans la distribution (non trivialement sur ) et donc "appliquer la méthode Delta avec " ne satisfait pas aux exigences requises. Cependant, comme le montre la réponse de S. Catterall, elle fournit une heuristique utile qui conduit à la bonne réponse.

Y

$Y$

R

$\mathbb R$

g (y) = \sqrt{| y |}

$g(y) = \sqrt{|y|}$

— cardinal

(Je pense que vous pouvez adapter la preuve de la méthode Delta à des cas similaires à ceux ci-dessus afin de rendre pleinement rigoureuse l'heuristique susmentionnée.)

— Cardinal

La convergence vers un gaussien est en effet un phénomène général.

Supposons que sont des variables aléatoires IID avec la moyenne et la variance , et définissez les sommes . Fixez un nombre . Le théorème central limite habituel nous dit que as , où est le cdf normal standard. Cependant, la continuité du cdf limitant implique que nous avons également $X_1,X_2,X_3,...$ $\mu\gt 0$ $\sigma^2$ $Y_n=\sum_{i=1}^n X_i$ $\alpha$ $P(\frac{Y_n-n\mu}{\sigma\sqrt n}\leq \alpha)\to\Phi(\alpha)$ $n\to\infty$ $\Phi$

P (\frac{Y_{n} - n μ}{σ \sqrt{n}} \leq α + \frac{α^{2} σ^{2}}{4 μ σ \sqrt{n}}) \to Φ (α)

$P\Big(\frac{Y_n-n\mu}{\sigma\sqrt n}\leq \alpha+\frac{\alpha^2 \sigma^2}{4\mu\sigma\sqrt n}\Big)\to\Phi(\alpha)$ parce que le terme supplémentaire sur le côté droit de l'inégalité tend vers zéro. Réorganiser cette expression conduit à

P (Y_{n} \leq (\frac{α σ}{2 \sqrt{μ}} + \sqrt{n μ})^{2}) \to Φ (α)

$P\Big(Y_n\leq (\frac{\alpha\sigma}{2\sqrt \mu}+\sqrt{n\mu})^2\Big)\to\Phi(\alpha)$

En prenant des racines carrées et en notant que implique que , nous obtenons En d'autres termes, . Ce résultat démontre la convergence vers un gaussien dans la limite comme . $\mu\gt 0$ $P(Y_n\lt 0)\to 0$

P (\sqrt{| Y_{n} |} \leq \frac{α σ}{2 \sqrt{μ}} + \sqrt{n μ}) \to Φ (α)

$P\Big(\sqrt{|Y_n|}\leq \frac{\alpha\sigma}{2\sqrt \mu}+\sqrt{n\mu}\Big)\to\Phi(\alpha)$

\frac{\sqrt{| Y_{n} |} - \sqrt{n μ}}{σ / 2 \sqrt{μ}} \overset{d}{\to} N (0, 1)

$\frac{\sqrt{|Y_n|}-\sqrt{n\mu}}{\sigma/{2\sqrt\mu}}\xrightarrow{d}N(0,1)$

n \to \infty

$n\to\infty$

Est-ce à dire que est une bonne approximation de pour un grand ? Eh bien, nous pouvons faire mieux que cela. Comme le note @Henry, en supposant que tout est positif, nous pouvons utiliser , avec et l'approximation , pour obtenir l'approximation améliorée comme indiqué dans la question ci-dessus. Notez également que nous avons toujours car $\sqrt{n\mu}$ $E[\sqrt{|Y_n|}]$ $n$ $E[\sqrt{Y_n}]=\sqrt{E[Y_n]-\text{Var}(\sqrt{Y_n})}$ $E[Y_n]=n\mu$ $\text{Var}(\sqrt{Y_n})\approx \frac{\sigma^2}{4\mu}$ $E[\sqrt{|Y_n|}]\approx\sqrt{n\mu- \dfrac{\sigma^2}{4\mu}}$

\frac{\sqrt{| Y_{n} |} - \sqrt{n μ - \frac{σ^{2}}{4 μ}}}{σ / 2 \sqrt{μ}} \overset{d}{\to} N (0, 1)

$\frac{\sqrt{|Y_n|}-\sqrt{n\mu-\frac{\sigma^2}{4\mu}}}{\sigma/{2\sqrt\mu}}\xrightarrow{d}N(0,1)$

\sqrt{n μ - \frac{σ^{2}}{4 μ}} - \sqrt{n μ} \to 0

$\sqrt{n\mu-\frac{\sigma^2}{4\mu}}-\sqrt{n\mu}\to 0$ comme .

n \to \infty

$n\to\infty$

— S. Catterall réintègre Monica
source

Vous devrez peut-être ajouter tant que pour obtenir mon résultat

\sqrt{n μ} - \sqrt{n μ - \frac{σ^{2}}{4 μ}} \to 0

$\sqrt{n \mu}-\sqrt{n \mu-\tfrac{\sigma^2}{4\mu}} \to 0$

n \to \infty

${n \to \infty}$

— Henry

@Henry Vous pouvez remplacer par pour toute constante et cela ne changera pas la distribution limite, mais cela peut changer le degré auquel est une bonne approximation de pour un grand spécifique . Comment avez-vous trouvé ?

\sqrt{n μ}

$\sqrt{n\mu}$

\sqrt{n μ - k}

$\sqrt{n\mu-k}$

k

$k$

\frac{\sqrt{| Y_{n} |} - \sqrt{n μ - k}}{σ / 2 \sqrt{μ}}

$\frac{\sqrt{|Y_n|}-\sqrt{n\mu-k}}{\sigma/{2\sqrt\mu}}$

N (0, 1)

$N(0,1)$

n

$n$

\sqrt{n μ - \frac{σ^{2}}{4 μ}}

$\sqrt{n \mu-\tfrac{\sigma^2}{4\mu}}$

— S.Catterall réintègre Monica

Nous avons donc . En supposant que tout est positif, tandis que le dénominateur de suggère , et en combinant ces pistes à .

Var (Z) = E [Z^{2}] - (E [Z])^{2}

$\text{Var}(Z)=E[Z^2]-(E[Z])^2$

E [Z] = \sqrt{E [Z^{2}] - Var (Z)}

$E[Z]=\sqrt{E[Z^2]-\text{Var}(Z)}$

E [Z^{2}] = E [Y] = n μ

$E[Z^2]=E[Y]=n\mu$

\frac{\sqrt{| Y_{n} |} - \sqrt{n μ}}{σ / 2 \sqrt{μ}}

$\frac{\sqrt{|Y_n|}-\sqrt{n\mu}}{\sigma/{2\sqrt\mu}}$

Var (Z) \approx \frac{σ^{2}}{4 μ}

$\text{Var}(Z) \approx \dfrac{\sigma^2}{4\mu}$

E [Z] \approx \sqrt{n μ - \frac{σ^{2}}{4 μ}}

$E[Z] \approx \sqrt{n\mu- \dfrac{\sigma^2}{4\mu}}$

— Henry

Ok, merci, j'ai essayé de couvrir cela dans ma réponse maintenant.

— S.Catterall réintègre Monica