Limite supérieure exponentielle


12

Supposons que nous ayons des variables aléatoires IIDX1,,Xn avec la distribution Ber(θ) . Nous allons observer un échantillon du Xi 's de la manière suivante: Soit Y1,,Yn être indépendant Ber(1/2) variables aléatoires, supposons que tous les Xi ' s et Yi sont indépendants et définissent la taille de l'échantillon N=i=1nYi . LesYi indiquent lesquels desXi sont dans l'échantillon, et nous voulons étudier la fraction de succès dans l'échantillon définie par

Z={1Ni=1nXiYiifN>0,0ifN=0.
Pourϵ>0, nous voulons trouver une borne supérieure pourPr(Zθ+ϵ) qui décroît exponentiellement avecn . L'inégalité de Hoeffding ne s'applique pas immédiatement en raison des dépendances entre les variables.

1
Soit . (i)Zin'est-il pasindépendant deZji? (ii) n'est-ce pasZ=Zi? ... En conséquence, il n'est pas clair pour moi queZn'est pas "une somme de variables aléatoires indépendantes"Zi=1NXiYiZiZjiZ=ZiZ
Glen_b -Reinstate Monica

Ah, bon point. Je pensais à , plutôt que de N . Mais ne pouvez-vous pas plutôt écrire Z i = 1nN, et soitZ= n i = 1 Zi? Autrement dit, additionnez tous les cas, queYsoit 1 ou 0. ... non, cela ne fonctionne pas. Le numérateur est le même mais le dénominateur est différent. Zi=1nXiYiZ=i=1nZiY
Glen_b -Reinstate Monica

Cela donne moins que la fraction des succès dans l'échantillon, qui est la quantité d'intérêt pour le problème, car , puisque N n . (1/n)i=1nXiYi(1/N)i=1nXiYiNn
Zen

1
Oui, c'est pourquoi j'ai fini par "non, ça ne marche pas". Il y a des inégalités qui s'appliquent au cas non indépendant, comme certaines des inégalités de Bernstein (voir le quatrième point), et il y a un certain nombre d'inégalités qui s'appliquent aux martingales (bien que je ne sache pas qu'elles s'appliqueront ici).
Glen_b -Reinstate Monica

1
Je vais jeter un coup d'œil et essayer également de trouver un lien avec les résultats des martingales. La borne pour est si facile ( P r ( U θ / 2 + ϵ ) exp ( - 2 n ϵ 2 ) ) qu'il est tentant de connecter ceci avec Z en utilisant une sorte de conditionnement. U=(1/n)i=1nXiYiPr(Uθ/2+ϵ)exp(2nϵ2)Z
Zen

Réponses:


16

Nous pouvons établir un lien assez direct avec l'inégalité de Hoeffding .

Notez que nous avons

{Z>θ+ϵ}={iXiYi>(θ+ϵ)iYi}={i(Xiθϵ)Yi>0}.

Soit pour que les Z i soient iid, E Z i = 0 et P ( Z > θ + ϵ ) = P ( i Z i > n ϵ / 2 )e - n ε 2 / 2Zi=(Xiθϵ)Yi+ϵ/2ZiEZi=0 par une application directe del'inégalitédeHoeffding(puisque les Z i[ - θ - ϵ / 2 , 1 - θ - ϵ / 2 ] et ainsi prendre des valeurs dans un intervalle de taille un).

P(Z>θ+ϵ)=P(iZi>nϵ/2)enϵ2/2,
Zi[θϵ/2,1θϵ/2]

Il existe une littérature connexe riche et fascinante qui s'est développée au cours des dernières années, en particulier sur des sujets liés à la théorie des matrices aléatoires avec diverses applications pratiques. Si vous êtes intéressé par ce genre de chose, je recommande fortement:

R. Vershynin, Introduction to the non-asymptotic analysis of random matrices , Chapter 5 of Compressed Sensing, Theory and Applications. Sous la direction de Y. Eldar et G. Kutyniok. Cambridge University Press, 2012.

Je pense que l'exposition est claire et fournit un très bon moyen de s'acclimater rapidement à la littérature.


1
Ziϵ/2Zi[θϵ/2,1θϵ/2]

1
N=0>

ZθE[Z]=E[I{N=0}Z]+E[I{N>0}Z]=(11/2n)θ

6

N=0

{Zθ+ϵ}=({Zθ+ϵ}{N=0})({Zθ+ϵ}{N>0})=({0θ+ϵ}{N=0})({Zθ+ϵ}{N>0})=({N=0})({Zθ+ϵ}{N>0})={i=1nXiYi(θ+ϵ)i=1nYi}{N>0}{i=1nXiYi(θ+ϵ)i=1nYi}={i=1n(Xiθϵ)Yi0}={i=1n((Xiθϵ)Yi+ϵ/2)nϵ/2}.

E[i=1nWi]=E[I{i=1nYi=0}i=1nWi]+E[I{i=1nYi>0}i=1nWi]=E[I{i=1nYi>0}i=1nYii=1nYi]=E[I{i=1nYi>0}]=11/2n.

5

Cette réponse continue de muter. La version actuelle ne se rapporte pas à la discussion que j'ai eue avec @cardinal dans les commentaires (bien que ce soit à travers cette discussion que j'ai heureusement réalisé que l'approche de conditionnement ne semblait mener nulle part).

Pour cette tentative, j'utiliserai une autre partie de l'article original de Hoeffding de 1963 , à savoir la section 5 "Sommes de variables aléatoires dépendantes".

WiYii=1nYi,i=1nYi0,i=1nWi=1,n2

Wi=0i=1nYi=0

Ensuite, nous avons la variable

Zn=i=1nWiXi,E(Zn)μn

Nous nous intéressons à la probabilité

Pr(Znμn+ϵ),ϵ<1μn

Pr(Znμn+ϵ)=E[1{Znμnϵ0}]

1{Znμnϵ0}exp{h(Znμnϵ)},h>0

i=1nWi=1

ehZn=exp{h(i=1nWiXi)}i=1nWiehXi

et relier les résultats pour arriver à

Pr(Znμn+ϵ)eh(μn+ϵ)E[i=1nWiehXi]

WiXi

Pr(Znμn+ϵ)eh(μn+ϵ)i=1nE(Wi)E(ehXi)

XiθE[ehXi]hE[ehXi]=1θ+θeh

Pr(Znμn+ϵ)eh(μn+ϵ)(1θ+θeh)i=1nE(Wi)

h

eh=(1θ)(μn+ϵ)θ(1μnϵ)

Le brancher sur l'inégalité et la manipulation que nous obtenons

Pr(Znμn+ϵ)(θμn+ϵ)μn+ϵ(1θ1μnϵ)1μnϵi=1nE(Wi)

tandis que

Pr(Znθ+ϵ)(θθ+ϵ)θ+ϵ(1θ1θϵ)1θϵi=1nE(Wi)

Hoeffding montre que

(θθ+ϵ)θ+ϵ(1θ1θϵ)1θϵe2ϵ2

i=1nE(Wi)=11/2n

Pr(Znθ+ϵ)(112n)e2ϵ2BD

BI

BD=(112n)e2ϵ2enϵ2/2=BI

2n12nexp{(4n2)ϵ2}

n4BDBIn5BIBDϵn=12ϵ0.008BI


WiXiXi


E[W1]=(11/2n)/nn

@Zen En effet (en fait, il augmente avec la taille de l'échantillon, bien que de manière limitée), c'est pourquoi la limite de Cardinal est plus utile pour la plupart des tailles d'échantillon.
Alecos Papadopoulos
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.