D'où vient dans le théorème de la limite centrale (CLT)?

36

Une version très simple du théorème central limité comme ci-dessous qui est Lindeberg – Lévy CLT. Je ne comprends pas pourquoi il y a un sur le côté gauche. Et Lyapunov CLT dit mais pourquoi pas ? Quelqu'un pourrait-il me dire quels sont ces facteurs, tels que et ? comment pouvons-nous les obtenir dans le théorème?

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, σ^{2})

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$

\sqrt{n}

$\sqrt{n}$

\frac{1}{s_{n}} \sum_{i = 1}^{n} (X_{i} - μ_{i}) \overset{d}{\to} N (0, 1)

$\frac{1}{s_n} \sum_{i=1}^{n} (X_i - \mu_i) \ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

\sqrt{s_{n}}

$\sqrt{s_n}$

\sqrt{n}

$\sqrt{n}$

\frac{1}{s_{n}}

$\frac{1}{s_n}$

central-limit-theorem intuition

— Cochon volant
source

3

Ceci est expliqué à l' adresse stats.stackexchange.com/questions/3734 . Cette réponse est longue, car elle demande "l'intuition". Il conclut: "Cette approximation simple suggère cependant comment de Moivre aurait pu initialement soupçonner l'existence d'une distribution limite universelle, son logarithme est une fonction quadratique et le facteur d'échelle approprié

s_{n}

$s_n$ doit être proportionnel à

\sqrt{n}

$\sqrt{n}$ ...

— whuber

1

Intuitivement, si tout

σ_{i} = σ

$\sigma_i=\sigma$ alors

s_{n} = \sqrt{\sum σ_{i}^{2}} = \sqrt{n} σ

$s_n = \sqrt{\sum\sigma_i^2}=\sqrt{n}\sigma$ et la deuxième ligne suit de la première ligne:

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) = \frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - μ) \overset{d}{\to} N (0, σ^{2})

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg)-\mu\bigg)=\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)\xrightarrow{d}\ \mathcal{N}(0,\;\sigma^2)$ divise par

σ = \frac{s_{n}}{\sqrt{n}}

$\sigma = \frac{s_n}{\sqrt{n}}$

\frac{\frac{1}{\sqrt{n}} \sum_{i = 1}^{n} (X_{i} - μ)}{\frac{s_{n}}{\sqrt{n}}} = \frac{1}{s_{n}} \sum_{i = 1}^{n} (X_{i} - μ_{i}) \overset{d}{\to} N (0, 1)

$\frac{\frac{1}{\sqrt{n}}\sum_{i=1}^n \bigg(X_i-\mu\bigg)}{\frac{s_n}{\sqrt{n}}}=\frac{1}{s_n}\sum_{i=1}^{n}(X_i-\mu_i)\xrightarrow{d}\ \mathcal{N}(0,\;1)$ (bien sûr la condition de Lyapunov, combinaison désactivée all $\sigma_i$ , est une autre question)

— Sextus Empiricus

33

Belle question (+1) !!

Vous vous souviendrez que pour les variables aléatoires indépendantes $X$ et $Y$ , $Var(X+Y) = Var(X) + Var(Y)$ et $Var(a\cdot X) = a^2 \cdot Var(X)$ . Donc la variance de $\sum_{i=1}^n X_i$ est $\sum_{i=1}^n \sigma^2 = n\sigma^2$ , et la variance de $\bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$ est $n\sigma^2 / n^2 = \sigma^2/n$ .

Ceci est pour la variance . Pour normaliser une variable aléatoire, vous la divisez par son écart-type. Comme vous le savez, la valeur attendue de est , donc la variable $\bar{X}$ $\mu$

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} \frac{\bar{X} - μ}{σ}

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma}$ a la valeur attendue 0 et la variance 1. Donc, si elle tend à être gaussienne, il doit s'agir du gaussien standard . Votre formulation dans la première équation est équivalente. En multipliant le côté gauche par vous définissez la variance sur .

N (0, 1)

$\mathcal{N}(0,\;1)$

σ

$\sigma$

σ^{2}

$\sigma^2$

En ce qui concerne votre deuxième point, je pense que l’équation présentée ci-dessus montre que vous devez diviser par et non pas pour standardiser l’équation, en expliquant pourquoi vous utilisez (l’estimateur de et non . $\sigma$ $\sqrt{\sigma}$ $s_n$ $\sigma)$ $\sqrt{s_n}$

Ajout: @whuber suggère de discuter du pourquoi de la mise à l'échelle par . Il le fait là- bas , mais comme la réponse est très longue, je vais essayer de saisir l'essentiel de son argument (qui est une reconstruction des pensées de de Moivre). $\sqrt{n}$

Si vous ajoutez un grand nombre de +1 et de -1, vous pouvez approximer la probabilité que la somme soit par comptage élémentaire. Le log de cette probabilité est proportionnel à . Donc, si nous voulons que la probabilité ci-dessus converge vers une constante lorsque augmente, nous devons utiliser un facteur de normalisation dans . $n$ $j$ $-j^2/n$ $n$ $O(\sqrt{n})$

En utilisant des outils mathématiques modernes (post de Moivre), vous pouvez voir l’approximation mentionnée ci-dessus en remarquant que la probabilité recherchée est:

P (j) = \frac{(\binom{n}{n / 2 + j})}{2^{n}} = \frac{n!}{2^{n} (n / 2 + j)! (n / 2 - j)!}

$P(j) = \frac{{n \choose n/2+j}}{2^n} = \frac{n!}{2^n(n/2+j)!(n/2-j)!}$

que nous approchons par la formule de Stirling

P (j) \approx \frac{n^{n} e^{n / 2 + j} e^{n / 2 - j}}{2^{n} e^{n} (n / 2 + j)^{n / 2 + j} (n / 2 - j)^{n / 2 - j}} = {(\frac{1}{1 + 2 j / n})}^{n + j} {(\frac{1}{1 - 2 j / n})}^{n - j} .

$P(j) \approx \frac{n^n e^{n/2+j} e^{n/2-j}}{2^n e^n (n/2+j)^{n/2+j} (n/2-j)^{n/2-j} } = \left(\frac{1}{1+2j/n}\right)^{n+j} \left(\frac{1}{1-2j/n}\right)^{n-j}.$

\log (P (j)) = - (n + j) \log (1 + 2 j / n) - (n - j) \log (1 - 2 j / n) \sim - 2 j (n + j) / n + 2 j (n - j) / n \propto - j^{2} / n .

$\log(P(j)) = -(n+j) \log(1+2j/n) - (n-j) \log(1-2j/n) \\ \sim -2j(n+j)/n + 2j(n-j)/n \propto -j^2/n.$

— gui11aume
source

S'il vous plaît voir mes commentaires aux réponses précédentes par Michael C. et le gars.

— whuber

Cela ressemble à la première équation (LL CLT) s / b ? Cela m'a aussi dérouté que apparaisse comme la variance.

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ) \overset{d}{\to} N (0, 1)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)\ \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ^{2}

$\sigma^2$

— B_Miner

Si vous paramétrez la gaussienne avec moyenne et variance (pas l'écart type), alors je crois que la formule de OP est correcte.

— jeudi

1

Ahh..Donné que si nous multiplions de nous obtenons ce qui était montré par l'OP ( cancel): à savoir . Mais nous savons que VAR (aX) = a ^ 2Var (X) où dans ce cas a = et Var (X) est 1, la distribution est donc .

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} \frac{\bar{X} - μ}{σ} \overset{d}{\to} N (0, 1)

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} \frac{\bar{X} - \mu}{\sigma} \xrightarrow{d}\ \mathcal{N}(0,\;1)$

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}}

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }}$

σ

$\sigma$

σ

$\sigma$

\sqrt{n} ((\frac{1}{n} \sum_{i = 1}^{n} X_{i}) - μ)

$\sqrt{n}\bigg(\bigg(\frac{1}{n}\sum_{i=1}^n X_i\bigg) - \mu\bigg)$

σ^{2}

$\sigma^2$

N (0, σ^{2})

$\mathcal{N}(0,\;\sigma^2)$

— B_Miner

Gui, si pas trop tard je voulais m'assurer que j'avais ce correct. Si nous supposons que et nous multiplions par une constante ( ), la valeur attendue de cette quantité (ie ), qui valait zéro, est toujours égal à E, car E [aX] = a * E [X] => * 0 = 0. Est-ce correct?

\frac{\bar{X} - E (\bar{X})}{\sqrt{V a r (\bar{X})}} = \sqrt{n} (\bar{X} - μ) \overset{d}{\to} N (0, 1)

$\frac{\bar{X} - E\left( \bar{X} \right)}{\sqrt{ Var(\bar{X}) }} = \sqrt{n} ({\bar{X} - \mu}) \xrightarrow{d}\ \mathcal{N}(0,\;1)$

σ

$\sigma$

\sqrt{n} (\bar{X} - μ)

$\sqrt{n} ({\bar{X} - \mu})$

σ

$\sigma$

— B_Miner

8

Il existe une belle théorie sur le type de distributions pouvant limiter les distributions des sommes de variables aléatoires. La ressource intéressante est le livre suivant de Petrov, que j'ai personnellement énormément apprécié.

Il s'avère que si vous étudiez les limites de ce type où sont des variables aléatoires indépendantes, les distributions des limites sont seulement certaines distributions.

\frac{1}{a_{n}} \sum_{i = 1}^{n} X_{n} - b_{n}, (1)

$\frac{1}{a_n}\sum_{i=1}^nX_n-b_n, \quad (1)$

X_{i}

$X_i$

Il y a beaucoup de mathématiques qui circulent alors, qui se résument à plusieurs théorèmes qui caractérisent complètement ce qui se passe dans la limite. Un de ces théorèmes est dû à Feller:

Théorème Soit une séquence de variables aléatoires indépendantes, la fonction de distribution de et une séquence de constante positive. Afin que $\{X_n;n=1,2,...\}$ $V_n(x)$ $X_n$ $a_n$

max_{1 \leq k \leq n} P (| X_{k} | \geq ε a_{n}) \to 0, for every fixed ε > 0

$\max_{1\le k\le n}P(|X_k|\ge\varepsilon a_n)\to 0, \text{ for every fixed } \varepsilon>0$

et

sup_{x} | P (a_{n}^{- 1} \sum_{k = 1}^{n} X_{k} < x) - Φ (x) | \to 0

$\sup_x\left|P\left(a_n^{-1}\sum_{k=1}^nX_k<x\right)-\Phi(x)\right|\to 0$

il est nécessaire et suffisant que

\sum_{k = 1}^{n} \int_{| x | \geq ε a_{n}} d V_{k} (x) \to 0 for every fixed ε > 0,

$\sum_{k=1}^n\int_{|x|\ge \varepsilon a_n}dV_k(x)\to 0 \text{ for every fixed }\varepsilon>0,$

a_{n}^{- 2} \sum_{k = 1}^{n} (\int_{| x | < a_{n}} x^{2} d V_{k} (x) - {(\int_{| x | < a_{n}} x d V_{k} (x))}^{2}) \to 1

$a_n^{-2}\sum_{k=1}^n\left(\int_{|x|<a_n}x^2dV_k(x)-\left(\int_{|x|<a_n}xdV_k(x)\right)^2\right)\to 1$

et

a_{n}^{- 1} \sum_{k = 1}^{n} \int_{| x | < a_{n}} x d V_{k} (x) \to 0.

$a_n^{-1}\sum_{k=1}^n\int_{|x|<a_n}xdV_k(x)\to 0.$

Ce théorème vous donne alors une idée de ce à quoi devrait ressembler. $a_n$

La théorie générale dans le livre est construite de telle manière que la constante de normalisation soit restreinte de quelque manière que ce soit, mais les théorèmes finaux qui donnent les conditions nécessaires et suffisantes ne laissent aucune autre place pour la constante de normalisation que . $\sqrt{n}$

— mpiktas
source

4

s représente l'écart type de l'échantillon pour la moyenne de l'échantillon. s est la variance de l'échantillon pour la moyenne de l'échantillon et égale à S / n. Où S est l'estimation de l'échantillon de la variance de la population. Puisque s = S / √n, cela explique comment √n apparaît dans la première formule. Notez qu'il y aurait un σ dans le dénominateur si la limite était $_n$ $_n$ $^2$ $_n$ $^2$ $_n$ $^2$ $_n$ $_n$

N (0,1) mais la limite est donnée par N (0, σ ). Puisque S est une estimation cohérente de σ, il est utilisé dans la deuxième équation pour extraire σ de la limite. $^2$ $_n$

— Michael R. Chernick
source

Qu'en est-il de l'autre partie (plus fondamentale et importante) de la question: pourquoi et non une autre mesure de dispersion?

s_{n}

$s_n$

— whuber

@ whuber Cela peut faire l'objet d'une discussion, mais cela ne faisait pas partie de la question. Le PO voulait seulement savoir pourquoi s et √n apparaissent dans la formule du CLT. Bien sûr, S est présent car il est cohérent pour σ et, sous cette forme de CLT, σ est supprimé.

_{n}

$_n$

_{n}

$_n$

— Michael R. Chernick le

1

Pour moi, il n'est pas du tout évident que soit présent car il est "cohérent pour ". Pourquoi cela n'impliquerait-il pas également, par exemple, que devrait être utilisé pour normaliser des statistiques de valeur extrême (qui ne fonctionneraient pas)? Est-ce que je manque quelque chose de simple et qui va de soi? Et, pour faire écho à l'OP, pourquoi ne pas utiliser --après tout, c'est cohérent pour !

s_{n}

$s_n$

σ

$\sigma$

s_{n}

$s_n$

\sqrt{s_{n}}

$\sqrt{s_n}$

\sqrt{σ}

$\sqrt{\sigma}$

— whuber

Le théorème indiqué converge vers N (0,1). Pour y parvenir, vous devez donc connaître σ et l'utiliser, ou utiliser une estimation cohérente de celui-ci, ce qui fonctionne selon le théorème de Slutsky, je pense. Étais-je si incertain?

— Michael R. Chernick le

Je ne pense pas que vous n'étiez pas clair; Je pense juste qu'un point important peut être manquant. Après tout, pour de nombreuses distributions, nous pouvons obtenir une distribution normale limitante en utilisant l’IQR au lieu de mais le résultat n’est pas aussi net (le SD de la distribution limitante dépend de la distribution avec laquelle nous avons commencé). Je suggère simplement que cela mérite d'être appelé et expliqué. Ce ne sera pas aussi évident pour quelqu'un qui ne possède pas l'intuition développée par 40 ans de standardisation de toutes les distributions rencontrées!

s_{n}

$s_n$

— whuber

2

Intuitivement, si pour un certain nous devrions nous attendre à ce que soit à peu près égal à ; cela semble être une attente plutôt raisonnable, bien que je ne pense pas que ce soit nécessaire en général. La raison pour laquelle dans la première expression est que la variance de va à comme et que donc gonfle la variance de sorte que la variance de l'expression soit égale à . Dans la deuxième expression, le terme est défini comme étant $Z_n \to \mathcal N(0, \sigma^2)$ $\sigma^2$ $\mbox{Var}(Z_n)$ $\sigma^2$ $\sqrt n$ $\bar X_n - \mu$ $0$ $\frac 1 n$ $\sqrt n$ $\sigma^2$ $s_n$ $\sqrt{\sum_{i = 1} ^ n \mbox{Var}(X_i)}$ tandis que la variance du numérateur augmente comme , nous avons donc à nouveau que la variance de l'expression entière est une constante ( dans ce cas). $\sum_{i = 1} ^ n \mbox{Var}(X_i)$ $1$

Essentiellement, nous savons que quelque chose "d’intéressant" se produit avec la distribution de , mais si nous ne centrons pas correctement l’échelle, nous ne pourrons pas le voir. J'ai entendu dire que cela nécessitait parfois de régler le microscope. Si nous ne explosons pas (par exemple) par alors nous avons simplement dans la distribution par la loi faible; un résultat intéressant en soi, mais pas aussi informatif que le CLT. Si nous gonflons avec tout facteur dominé par , nous obtenons toujours tandis que tout facteur qui domine $\bar X_n := \frac 1 n \sum_i X_i$ $\bar X - \mu$ $\sqrt n$ $\bar X_n - \mu \to 0$ $a_n$ $\sqrt n$ $a_n(\bar X_n - \mu) \to 0$ $a_n$ $\sqrt n$ donne . Il s'avère que est juste le bon grossissement pour pouvoir voir ce qui se passe dans ce cas (note: toute convergence ici est dans la distribution; il existe un autre niveau de grossissement intéressant pour une convergence presque sûre, qui donne loi du logarithme itéré). $a_n(\bar X_n - \mu) \to \infty$ $\sqrt n$

— gars
source

4

Une question plus fondamentale, qui devrait être abordée en premier lieu, est de savoir pourquoi le DS est utilisé pour mesurer la dispersion. Pourquoi pas le moment central absolu pour une autre valeur de ? Ou pourquoi pas l'IQR ou l'un de ses proches? Une fois que cela est répondu, alors les propriétés simples de la covariance donnent immédiatement la dépendance (comme @Gui11aume vient de l'expliquer.)

k^{th}

$k^\text{th}$

k

$k$

\sqrt{n}

$\sqrt{n}$

— whuber

1

@whuber je suis d'accord, c'est pourquoi j'ai présenté cela comme une heuristique. Je ne suis pas sûr que cela se prête à une explication simple, bien que j'aimerais en entendre une. Pour moi, je ne suis pas sûr d'avoir une raison plus simple et explicable: "parce que le terme carré est le terme pertinent dans l'extension de Taylor de la fonction caractéristique une fois que vous soustrayez la moyenne".

— mec