Quand le théorème de la limite centrale et la loi des grands nombres ne sont pas d'accord


19

Il s'agit essentiellement d'une réplication d' une question que j'ai trouvée sur math.se , qui n'a pas obtenu les réponses que j'espérais.

Soit une séquence de variables aléatoires indépendantes et distribuées de manière identique, avec et .{Xi}iNV [ X i ] = 1E[Xi]=1V[Xi]=1

Considérez l'évaluation de

limnP(1ni=1nXin)

Cette expression doit être manipulée car, en l'état, les deux côtés de l'événement d'inégalité tendent vers l'infini.

A) ESSAYER LA SOUSTRACTION

Avant d'examiner l'énoncé de limitation, soustrayez n des deux côtés:

limnP(1ni=1nXinnn)=limnP(1ni=1n(Xi1)0)=Φ(0)=12

la dernière égalité par le CLT, où Φ() est la fonction de distribution normale standard.

B) ESSAYEZ LA MULTIPLICATION

Multipliez les deux côtés par 1/n

limnP(1n1ni=1nXi1nn)=limnP(1ni=1nXi1)

=limnP(X¯n1)=limnFX¯n(1)=1

FX¯n() est la fonction de distribution de la moyenne d'échantillon X¯n , qui par le LLN converge en probabilité (et donc aussi en distribution) vers la constante 1 , d'où la dernière égalité.

Nous obtenons donc des résultats contradictoires. Quelle est la bonne? Et pourquoi l'autre a tort?


1
@JuhoKokkala Bien sûr, il est ici, math.stackexchange.com/q/2830304/87400 simplement ignorer là l'erreur de l'OP.
Alecos Papadopoulos

2
Je pense que le problème est dans la deuxième déclaration invoquant le LLN
Glen_b -Reinstate Monica

3
Je t'ai suivi jusqu'à l'égalité finale. C'est clairement faux, car nous nous attendrions à ce que se rapproche de pour un grand et donc sa limite ne devrait pas être égale à Quelle est la justification voulue? Ce n'est pas l'énoncé d'une version d'une loi sur les grands nombres que je connaisse. 1 / deux n 1.P(X¯n1)1/2n1.
whuber

1
@whuber Soi-disant, toute probabilité pour la moyenne de l'échantillon se concentre sur la valeur . Si c'est faux, je pense qu'il est important que l'erreur soit détaillée dans une réponse, c'est le but de cette question. 1
Alecos Papadopoulos

2
Alecos, ma préoccupation n'est pas de savoir si la dernière étape est erronée: elle concerne vos raisons de la faire. N'est-ce pas après tout de cela qu'il s'agit? Je n'ai toujours rien lu de vous donnant ces raisons et j'hésiterais même à deviner ce qu'elles pourraient être. Bien que vous fassiez référence à un "LLN", je pense que la résolution de votre problème résidera probablement dans la description précise de ce que vous entendez par "LLN".
whuber

Réponses:


15

L'erreur ici est probable dans le fait suivant: la convergence dans la distribution suppose implicitement que converge vers aux points de continuité de . Comme la distribution limite est d'une variable aléatoire constante, elle a une discontinuité de saut à , il est donc incorrect de conclure que le CDF converge vers . F ( x ) F ( x ) x = 1 F ( x ) = 1Fn(x)F(x) F(x)x=1F(x)=1


1
La façon dont nous définissons la convergence dans disribution ne pas exclure la possibilité de convergence au niveau des points de discontinuité ne vient - it besoin d' elle.
Alecos Papadopoulos

1
Mais si la convergence dans la distribution ne nécessite pas que converge vers , sur quoi se base la dernière égalité de la question? F ( 1 )Fn(1)F(1)
Juho Kokkala du

1
@Juho Ce n'est basé sur rien - c'est le noeud du problème. Aucun théorème ne permet de faire la dernière équation de la question.
whuber

1
@AlecosPapadopoulos: Je n'ai jamais dit que cela n'excluait pas la possibilité. Je dis implicitement que vous devez justifier la dernière égalité au-delà de ce qui vous est donné par la convergence dans la distribution. Par exemple, si est Bernoulli, ce serait vrai. Xn
Alex R.

11

Pour les variables aléatoires iid avec définir Maintenant, le CLT dit que pour chaque nombre réel fixe , . L'OP applique le CLT pour évaluer E [ X i ] = var ( X i ) = 1 Z nXiE[Xi]=var(Xi)=1zlimnFZn(z)=Φ(z-1)limnP(Zn1

Zn=1ni=1nXi,Yn=1ni=1nXi.
zlimnFZn(z)=Φ(z1)
limnP(Zn1n)=Φ(0)=12.

Comme l'ont souligné les autres réponses ainsi que plusieurs des commentaires sur la question du PO, c'est l'évaluation par le PO de qui est suspecte. Considérons le cas particulier où les iid sont des variables aléatoires discrètes prenant des valeurs et avec une probabilité égale . Maintenant, peut prendre toutes les valeurs entières paires dans et donc quand est impair, ne peut pas prendre la valeur et donc ne peut pas prendre la valeurX i 0 2 1limnP(Yn1)Xi02 n i = 1 Xi[0,2n]n n i = 1 XinYn=112i=1nXi[0,2n]ni=1nXin1Yn1P(Yn1)=FYn(1)1Yn=1ni=1nXi 1. De plus, comme la distribution de est symétrique autour de , nous avons que a la valeur chaque fois que est impair. Ainsi, la séquence de nombres contient la sous- séquence dans lesquels tous les termes ont une valeur . D'autre part, la séquence est convergeaient à . Par conséquent,Yn1P(Yn1)=FYn(1) nP(Y11),P(Y21),,P(Yn1),P(Y11),P(Y31),,P(Y2k-11),112n

P(Y11),P(Y21),,P(Yn1),
P(Y11),P(Y31),,P(Y2k11),
P(Y21),P(Y41),,P(Y2k1),1limnP(Yn1)P(Yn1)12
P(Y21),P(Y41),,P(Y2k1),
1limnP(Yn1) n'existe pas et les revendications de convergence de vers 1 doivent être considérées avec beaucoup de suspicion.P(Yn1)

8

Votre premier résultat est le bon. Votre erreur se produit dans la deuxième partie, dans la déclaration erronée suivante:

limnFX¯n(1)=1.

Cette affirmation est fausse (le côté droit doit être ) et elle ne découle pas de la loi des grands nombres comme affirmé. La faible loi des grands nombres (que vous invoquez) dit que:12

limnP(|X¯n1|ε)=1for all ε>0.

Pour tout la condition s'étend sur certaines valeurs où et certaines valeurs sur . Par conséquent, il ne résulte pas du LLN que .| ˉ X n - 1 | ε ˉ X n1 ˉ X n > 1 lim n P ( ˉ X n1 ) = 1ε>0|X¯n1|εX¯n1X¯n>1limnP(X¯n1)=1


1
Le résultat (en effet erroné) vient de l'implication "convergence en probabilité implique convergence en distribution". La question n'indique pas que l'assertion provient directement du LLN.
Alecos Papadopoulos

@AlecosPapadopoulos: Convergence en probabilité n'implique la convergence de la distribution. Encore une fois, la convergence dans la distribution n'est requise qu'aux points de continuité. Mais, peut-être que vous vouliez dire que la convergence des probabilités n'implique pas une convergence ponctuelle de la distribution.
Alex R.

@AlexR. Je ne sais pas où se situe votre objection. Je crois que cette question est traitée dans ma propre réponse.
Alecos Papadopoulos

3

La convergence dans la probabilité implique la convergence dans la distribution. Mais ... quelle distribution? Si la distribution limite a une discontinuité de saut, les limites deviennent ambiguës (car plusieurs valeurs sont possibles à la discontinuité).

où est la fonction de distribution de la moyenne d'échantillon , qui par le LLN converge en probabilité (et donc aussi en distribution) vers la constante ,FX¯n()X¯n1

Ce n'est pas correct, et il est également facile de montrer que cela ne peut pas être correct (différent du désaccord entre CLT et LLN). La distribution limite (qui peut être considérée comme la limite d'une séquence de variables distribuées normales) devrait être:

FX¯(x)={0for x<10.5for x=11for x>1

pour cette fonction, vous avez que, pour tout et tous les , la différence pour suffisamment grand . Cela échouerait si au lieu deϵ>0x|FX¯n(x)FX¯(x)|<ϵnFX¯(1)=1FX¯(1)=0.5


Limite d'une distribution normale

Il peut être utile d'écrire explicitement la somme utilisée pour invoquer la loi des grands nombres.

X¯n=1ni=1nXiN(1,1n)

La limite pour est en fait équivalente à la fonction Dirac Delta lorsqu'elle est représentée comme la limite de la distribution normale avec la variance allant à zéro.nX^n

En utilisant cette expression, il est plus facile de voir ce qui se passe sous le capot, plutôt que d'utiliser les lois toutes faites du CLT et d'un LLN qui obscurcissent le raisonnement derrière les lois.


Convergence de probabilité

La loi des grands nombres vous donne une «convergence de probabilité»

limnP(|X¯n1|>ϵ)=0

avecϵ>0

Une déclaration équivalente pourrait être faite pour le théorème central limite avec limnP(|1n(Xi1)|>ϵn)=0

Il est faux de dire que cela implique

limnP(|X¯n1|>0)=0

Il est moins agréable que cette question soit mise en ligne si tôt (déroutant, mais intéressant de voir les différentes discussions / approches mathématiques vs statistiques, donc pas trop mal). La réponse de Michael Hardy sur l'échange de pile mathématique la traite très efficacement en termes de loi forte des grands nombres (le même principe que la réponse acceptée de drhab dans la question croisée et Dilip ici). Nous sommes presque sûrs qu'une séquence converge vers 1, mais cela ne signifie pas queX¯1,X¯2,X¯3,...X¯nlimnP(X¯n=1)sera égal à 1 (ou il peut même ne pas exister comme le montre Dilip). L'exemple de dés dans les commentaires de Tomasz le montre très bien sous un angle différent (au lieu de la limite qui n'existe pas, la limite va à zéro). La moyenne d'une séquence de lancers de dés convergera vers la moyenne des dés mais la probabilité d'être égale à celle-ci passe à zéro.


Fonction pas à pas Heaviside et fonction delta Dirac

Le CDF de est le suivant:X¯n

FX¯n(x)=12(1+erfx12/n)

avec, si vous le souhaitez, (lié à la fonction de pas Heaviside , l'intégrale de la fonction delta de Dirac considérée comme la limite de distribution normale).limnFX¯n(1)=0.5


Je crois que ce point de vue résout intuitivement votre question concernant "montrer qu'il est faux" ou du moins il montre que la question de comprendre la cause de ce désaccord entre CLT et LLN équivaut à la question de comprendre l'intégrale de la fonction delta de Dirac ou une séquence de distributions normales avec une variance décroissante à zéro.


2
Votre distribution limitante n'est en fait pas du tout une distribution. Un CDF doit être droit continu, alors qu'il n'est clairement pas à . x=1/2
Alex R.

La bonne continuité semble être nécessaire de telle sorte que pour chaque nous avons comme événements sont imbriqués, nous devrions avoir mais est-ce vrai pour notre cas et où est la capture? Cette bonne continuité est-elle nécessaire sur la base des axiomes de probabilité ou s'agit-il simplement d'une convention telle que le CDF fonctionne pour la plupart des cas? alimnFX(a+1n)=FX(a)Xa+1n
limnFX(une+1n)=limnP(Xune+1n)=P(limnXune+1n)=P(Xune)=FX(une)
Sextus Empiricus

@Martin Weterings: C'est précisément d'où cela vient. Toute mesure valide doit satisfaire ces résultats de monotonie. Ils sont la conséquence de la délimitation de et de l'additivité dénombrable. Plus généralement, une fonction est un CDF (c'est-à-dire correspond à une distribution via ssi est continu à droite, en plus d'être monotone , et ayant la limite gauche 0, la limite droite 1.PPF(X)PF(b)-F(une)=P(une<Xb)F
Alex R.

2

Je pense qu'il devrait être clair maintenant que "l'approche CLT" donne la bonne réponse.

Voyons exactement où «l'approche LLN» va mal.

En commençant par les instructions finies, il est clair alors que nous pouvons de manière équivalente soit soustraire des deux côtés, soit multiplier les deux côtés par . On an1/n

P(1nje=1nXjen)=P(1nje=1n(Xje-1)0)=P(1nje=1nXje1)

Donc si la limite existe, elle sera identique. En , nous l'avons, en utilisant les fonctions de distributionZn=1nje=1n(Xje-1)

P(1nje=1nXjen)=FZn(0)=FX¯n(1)

... et il est vrai que .limnFZn(0)=Φ(0)=1/2

La pensée dans "l'approche LLN" est la suivante: "Nous savons par le LLN que converge en probabilité vers une constante. Et nous savons aussi que" la convergence en probabilité implique la convergence en distribution ". Ainsi, converge dans la distribution à une constante ". Jusqu'ici, nous avons raison. Puis nous déclarons: "donc, les probabilités limites pour sont données par la fonction de distribution de la constante à variable aléatoire",X¯nX¯n
X¯n1

F1(X)={1X10X<1F1(1)=1

... donc ...limnFX¯n(1)=F1(1)=1

... et nous venons de faire notre erreur . Pourquoi? Parce que, comme @AlexR. réponse notée , la «convergence dans la distribution» ne couvre que les points de continuité de la fonction de distribution limite. Et est un point de discontinuité pour . Cela signifie que peut être égal à mais il peut ne pas l'être , sans annuler la "convergence de distribution vers une constante" implication du LLN .1F1limnFX¯n(1) F1(1)

Et puisque de l'approche CLT nous savons quelle doit être la valeur de la limite ( ). Je ne connais pas de moyen de prouver directement que .1/2limnFX¯n(1)=1/2

Avons-nous appris quelque chose de nouveau?

J'ai fait. Le LLN affirme que

limnP(|X¯n-1|ε)=1pour tous ε>0

limn[P(1-ε<X¯n1)+P(1<X¯n1+ε)]=1

limn[P(X¯n1)+P(1<X¯n1+ε)]=1

Le LLN ne dit pas comment la probabilité est allouée dans l' intervalle . Ce que j'ai appris, c'est que, dans cette classe de résultats de convergence, la probabilité est à la limite allouée de façon égale des deux côtés du point central de l'intervalle d'effondrement. (1-ε,1+ε)

La déclaration générale ici est, supposons

Xnpθ,h(n)(Xn-θ)(0,V)

où est un rv avec la fonction de distribution . alorsF

limnP[Xnθ]=limnP[h(n)(Xn-θ)0]=F(0)

... qui peut ne pas être égal à (la fonction de distribution de la constante rv).Fθ(0)

De plus, il s'agit d'un exemple fort montrant que, lorsque la fonction de distribution de la variable aléatoire limitante présente des discontinuités, la «convergence de la distribution vers une variable aléatoire» peut décrire une situation où «la distribution limite» peut ne pas être d'accord avec la «distribution de la limite variable aléatoire "aux points de discontinuité. À strictement parler, la distribution limite pour les points de continuité est celle de la variable aléatoire constante. Pour les points de discontinuité, nous pouvons être en mesure de calculer la probabilité limite, comme des entités "séparées".


La perspective de la «leçon apprise» est intéressante, et c'est un bon exemple, pas trop difficile, pour une application didactique. Bien que je me demande quel genre d'application pratique (directe) cette réflexion sur l'infini a, car finalement dans la pratiquen
Sextus Empiricus

@MartijnWeterings Martijn, la motivation ici était certainement pédagogique, a) comme une alerte aux discontinuités même dans une situation "plate" comme la convergence vers une constante, et donc aussi en général (elles détruisent la convergence uniforme par exemple), et b) un résultat sur la façon dont la masse de probabilité est allouée devient intéressant lorsque la séquence qui converge en probabilité vers une constante a toujours une variance non nulle.
Alecos Papadopoulos du

Nous pourrions dire que CLT disons quelque chose à propos de la convergence vers une variable distribuée normale limite (pouvant ainsi exprimer des choses comme ), mais LLN nous permet seulement de dire qu'en augmentant la taille de l'échantillon, nous nous rapprochons à la vraie moyenne, mais cela ne signifie pas que nous obtenons, avec une probabilité plus élevée, «exactement égal à la moyenne de l'échantillon». LLN signifie que la moyenne de l'échantillon se rapproche de plus en plus d'une valeur limite mais pas (avec une probabilité plus élevée) égale à celle-ci. LLN ne dit rien surF ( x )F(X)F(X)
Sextus Empiricus

Les pensées originales autour du LLN étaient en fait opposées (voir le raisonnement d'Arbuthnot stats.stackexchange.com/questions/343268 ). "Il est visible d'après ce qui a été dit, qu'avec un très grand nombre de dés, A's Lot deviendrait très petit ... il n'y aurait qu'une petite partie de toutes les chances possibles, pour que cela se produise à tout moment assignable, que un nombre égal d'hommes et de femmes devrait naître. "
Sextus Empiricus
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.