Théorème central limite versus loi des grands nombres

14

Le théorème central limite indique que la moyenne des variables iid, lorsque va à l'infini, devient normalement distribuée. $N$

Cela soulève deux questions:

Peut-on en déduire la loi des grands nombres? Si la loi des grands nombres dit que la moyenne d'un échantillon des valeurs d'une variable aléatoire est égale à la vraie moyenne lorsque va à l'infini, alors il semble encore plus fort de dire (comme le dit la limite centrale) que la valeur devient où est l'écart type. Est-il juste alors de dire que la limite centrale implique la loi des grands nombres? $\mu$ $N$ $\mathcal N(\mu, \sigma)$ $\sigma$
Le théorème central limite s'applique-t-il à une combinaison linéaire de variables?

probability central-limit-theorem law-of-large-numbers

— user9097
source

5

Votre affirmation selon laquelle "le théorème central limite déclare que la moyenne des variables iid, lorsque

N

$N$ va à l'infini, devient normalement distribuée" est incorrecte. Voir ma réponse à cette question récente qui soulève des questions similaires. Une autre réponse à cette question a été publiée mais supprimée peu de temps après, et la discussion qui a suivi cette réponse, désormais disparue, a également débattu de ces questions.

— Dilip Sarwate

1

Pourquoi la moyenne de l'échantillon convergeant vers la moyenne de la population un résultat plus faible que la moyenne de l'échantillon convergeant vers un échantillon d'une distribution ?

μ

$\mu$

N (μ, σ)

$\mathcal N(\mu, \sigma)$

— Dilip Sarwate

@DilipSarwate Merci pour le drapeau, mais votre commentaire est suffisamment IMO révèlent des idées fausses dans la question et des réponses raisonnables sont apparues.

10

L'OP dit

Le théorème central limite indique que la moyenne des variables iid, lorsque N va à l'infini, devient normalement distribuée.

Je suppose que cela signifie que l'OP croit que pour iid les variables aléatoires avec la moyenne et l'écart type , la fonction de distribution cumulative de converge vers la fonction de distribution cumulative de , une variable aléatoire normale avec moyenne et écart-type . Ou, le PO pense que des réarrangements mineurs de cette formule, par exemple la distribution de converge vers la distribution de , ou la distribution de $X_i$ $\mu$ $\sigma$ $F_{Z_n}(a)$

Z_{n} = \frac{1}{n} \sum_{i = 1}^{n} X_{i}

$Z_n = \frac{1}{n} \sum_{i=1}^n X_i$

N (μ, σ)

$\mathcal N(\mu,\sigma)$

μ

$\mu$

σ

$\sigma$

Z_{n} - μ

$Z_n - \mu$

N (0, σ)

$\mathcal N(0,\sigma)$

(Z_{n} - μ) / σ

$(Z_n - \mu)/\sigma$ converge vers la distribution de , la variable aléatoire normale standard. Notez à titre d'exemple que ces instructions impliquent que comme .

N (0, 1)

$\mathcal N(0,1)$

P {| Z_{n} - μ | > σ} = 1 - F_{Z_{n}} (μ + σ) + F_{Z_{n}} ((μ + σ)^{-}) \to 1 - Φ (1) + Φ (- 1) \approx 0.32

$P\{|Z_n - \mu| > \sigma\} = 1 - F_{Z_n}(\mu + \sigma) + F_{Z_n}((\mu + \sigma)^-) \to 1-\Phi(1)+\Phi(-1) \approx 0.32$

n \to \infty

$n \to \infty$

L'OP poursuit en disant

Cela soulève deux questions:

Peut-on en déduire la loi des grands nombres? Si la loi des grands nombres dit que la moyenne d'un échantillon de valeurs d'une variable aléatoire est égale à la vraie moyenne μ lorsque N va à l'infini, alors il semble encore plus fort de dire que (comme le dit la limite centrale) que la valeur devient N ( μ, σ) où σ est l'écart type.

La loi faible des grands nombres dit que pour iid les variables aléatoires de moyenne finie , étant donné tout , Notez qu'il n'est pas nécessaire de supposer que l'écart type est fini. $X_i$ $\mu$ $\epsilon > 0$

P {| Z_{n} - μ | > ϵ} \to 0 as n \to \infty .

$P\{|Z_n - \mu| > \epsilon\} \to 0 ~~ \text{as}~ n \to \infty.$

Donc, pour répondre à la question du PO,

Le théorème central limite tel qu'énoncé par l'OP n'implique pas la loi faible des grands nombres. Comme , la version OP du théorème central limite dit que tandis que la loi faible dit que $n \to \infty$ $P\{|Z_n-\mu| > \sigma\} \to 0.317\cdots$ $P\{|Z_n-\mu| > \sigma\} \to 0$
À partir d'un énoncé correct du théorème de la limite centrale, on ne peut au mieux déduire qu'une forme restreinte de la loi faible des grands nombres s'appliquant à des variables aléatoires de moyenne finie et d'écart type. Mais la loi faible des grands nombres s'applique également aux variables aléatoires telles que les variables aléatoires de Pareto avec des moyennes finies mais un écart-type infini.
Je ne comprends pas pourquoi dire que la moyenne de l'échantillon converge vers une variable aléatoire normale avec un écart-type non nul est une affirmation plus forte que de dire que la moyenne de l'échantillon converge vers la moyenne de la population, qui est une constante (ou une variable aléatoire avec un écart-type nul si vous aimez).

— Dilip Sarwate
source

Je me demande ce que la personne qui a rejeté ma réponse a trouvé répréhensible ou incorrect dans ce que j'ai dit.

— Dilip Sarwate

7

Pour la loi des grands nombres, vous devez avoir toutes les variables à définir sur le même espace de probabilité (car la loi des grands nombres est une déclaration sur la probabilité d'un événement déterminé par , pour tous les simultanément). Pour la convergence dans la distribution, vous pouvez avoir différents espaces de probabilité, ce qui simplifie de nombreux aspects des preuves (par exemple, augmenter les espaces imbriqués, très courant pour diverses preuves de tableau triangulaire). Mais cela signifie également que vous ne pouvez faire aucune déclaration concernant les distributions conjointes de et , par exemple. Donc non, la convergence dans la distribution n'implique pas la loi des grands nombres, sauf si vous avez un espace de probabilité commun pour toutes les variables. $\bar X_n$ $n$ $\bar X_n$ $\bar X_{n+1}$

— StasK
source

(+1) Ce que vous dites est vrai et c'est un point très important. Le tableau triangulaire permet aux variables de chaque "ligne" de vivre sur des espaces de probabilité différents de ceux des lignes précédentes. D'un autre côté, si nous disons a priori que nous considérons une séquence de variables aléatoires iid, alors, implicitement, elles doivent exister sur un espace sous-jacent commun pour que la notion d'indépendance ait beaucoup de sens.

— Cardinal

@cardinal: donc si je comprends bien, dans le cas "simple" où tous sont définis dans le même espace, est-ce que la centralité implique la loi des grands nombres? ou pas?

— user9097

@ user9097 Puisque nous entrons maintenant dans le domaine des détails fins, de quelle loi des grands nombres est-il question? La loi faible ou la loi forte?

— Dilip Sarwate

Ce point n'est vrai que pour la loi forte des grands nombres , pas pour la loi faible

— kjetil b halvorsen

4

Tout d'abord, bien qu'il existe de nombreuses définitions, l'une des formes standard du théorème de la limite centrale dit que converge en distribution vers , où est la moyenne de l' échantillon de copies iid de quelque variable aléatoire . $\sqrt{n}(\bar{X}_n-EX)$ $\mathcal N(0, Var(X))$ $\bar{X}$ $n$ $X$

D' autre part, supposons que nous avons deux variables aléatoires indépendantes et . Alors ou $X$ $Y$

\sqrt{n} (\frac{1}{n} \sum_{j = 1}^{n} (a X_{j} + Y_{j}) - E (a X + Y)) \to N (0, V a r (a X + Y))

$\sqrt{n}(\frac{1}{n}\sum_{j=1}^n(aX_j+Y_j) - E(aX+Y)) \to \mathcal N(0, Var(aX+Y))$

\sqrt{n} a ({\bar{X}}_{n} - E X) + \sqrt{n} ({\bar{Y}}_{n} - E Y) \to N (0, a^{2} V a r (X) + V a r (Y)) .

$\sqrt{n}a(\bar{X}_n- EX)+\sqrt{n}(\bar{Y}_n -EY) \to \mathcal N(0, a^2Var(X)+Var(Y)).$

En d'autres termes, une combinaison linéaire de variables aléatoires ne converge pas vers une combinaison linéaire de normales sous le CLT, juste une normale. Cela a du sens car une combinaison linéaire de variables aléatoires n'est qu'une variable aléatoire différente à laquelle CLT peut être appliqué directement.

— Daniel Johnson
source

1

C'est un bon début de réponse. Voici quelques commentaires: Une combinaison linéaire de normales (conjointes) est normale, alors, je ne sais pas ce que votre commentaire à ce sujet était censé signifier. En tout cas, je soupçonne le PO de ne pas penser à des combinaisons linéaires de la forme que vous considérez. En observant que où pour chaque , une question naturelle que l'on pourrait se poser est ce qui se passe quand nous remplaçons ces poids «uniformes» par d'autres (plus arbitraires). Quand obtient-on toujours un CLT? Le CLT de Lindeberg peut être utilisé pour répondre à cette question.

{\bar{X}}_{n} = \sum_{i = 1}^{n} w_{n i} X_{i}

$\bar X_n = \sum_{i=1}^n w_{ni} X_i$

w_{n i} = 1 / n

$w_{ni} = 1/n$

i = 1, \dots, n

$i = 1,\ldots,n$

— Cardinal

Je pense qu'avec des conditions strictes, mon résultat dira encore quelque chose sur . Définissons d'abord ces conditions, puis examinons comment les affaiblir. Supposons que et soient une seule séquence infinie de réels non négatifs. Si le nombre de distincts est fini et que chacun apparaît infiniment souvent dans la séquence, mon résultat devrait être car chaque définit une variable aléatoire et cela s'inscrit dans le cadre de la `` combinaison linéaire '' que j'ai donné ci-dessus. Alors une bonne question serait de savoir si nous pourrions autoriser le nombre d' échelle distinct avec .

\sum_{j = 1}^{n} w_{n j} X_{j}

$\sum^n_{j=1}w_{nj}X_j$

w_{n j} = w_{j} / n

$w_{nj} = w_{j}/n$

w_{j}

$w_j$

w_{j}

$w_{j}$

w_{j} X

$w_jX$

w

$w$

n

$n$

— Daniel Johnson

1

C'est un bon commentaire et une bonne idée, mais je pense qu'il faudrait quelques modifications pour fonctionner. Supposons que wlog que . Construisez votre comme suit. Soit , . Maintenant, définissez

E X = 0

$\mathbb E X = 0$

w_{j}

$w_j$

w_{1} = 1

$w_1 = 1$

w_{2} = 0

$w_2 = 0$

suit inductivement comme: Set

jusqu'à ce que

. Ajoutez ensuite ceux jusqu'à

w_{j}

$w_j$

w_{j} = 0

$w_j = 0$

\sum_{i = 1}^{j} w_{i} / j \leq 1 / 4

$\sum_{i=1}^j w_i /j \leq 1/4$

. Ajoutez à nouveau des zéros, puis des uns. Répétez à l'infini. Maintenant,

et

à la fois se produisent un nombre infini de fois, mais la variance de la remiseéchelle oscille moyenne entre

et

(peu près). Ainsi, votre séquence déclarée ne peut pas converger dans la distribution.

\sum_{i = 1}^{j} w_{i} / j \geq 1 / 2

$\sum_{i=1}^j w_i /j \geq 1/2$

0

$0$

1

$1$

1 / 2

$1/2$

1 / 4

$1/4$

— Cardinal

(Remarque: Ici, le choix de

et

n'a rien de spécial . De plus, à strictement parler, la procédure que vous décrivez dans le commentaire ne correspond pas vraiment au cadre de combinaison linéaire de votre réponse.)

0

$0$

1

$1$

— Cardinal