Inverser Chernoff lié

Y a-t-il une borne inverse de Chernoff qui limite la probabilité de queue au moins autant.

c'est-à-dire si $X_1,X_2,\ldots,X_n$ sont des variables aléatoires binomiales indépendantes et $\mu=\mathbb{E}[\sum_{i=1}^n X_i]$ . Alors peut-on prouver $Pr[\sum_{i=1}^n X_i\geq (1+\delta)\mu]\geq f(\mu,\delta,n)$ pour une fonction $f$ .

Voici une preuve explicite qu'une borne de Chernoff standard est serrée à des facteurs constants dans l'exposant pour une plage particulière de paramètres. (En particulier, chaque fois que les variables sont 0 ou 1, et 1 avec une probabilité de 1/2 ou moins, et $\epsilon\in(0,1/2)$ , et que la limite supérieure de Chernoff est inférieure à une constante.)

Si vous trouvez une erreur, faites-le moi savoir.

Lemme 1. (serrage de la borne de Chernoff) Soit $X$ la moyenne de $k$ variables aléatoires indépendantes (0/1) (rv). Pour tout $\epsilon\in(0,1/2]$ et $p\in(0,1/2]$ , en supposant $\epsilon^2 p k \ge 3$ ,

(i) Si chaque rv est 1 avec une probabilité au plus , alors$p$

$$\displaystyle \Pr[X\le (1-\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$$

(ii) Si chaque rv est 1 avec une probabilité d'au moins , alors$p$

$$\displaystyle \Pr[X\ge (1+\epsilon)p] ~\ge~ \exp\big({-9\epsilon^2 pk}\big).$$

Preuve. Nous utilisons l'observation suivante:

Revendication 1. Si , alors $1\le \ell \le k-1$$\displaystyle {k \choose \ell} ~\ge~ \frac{1}{e\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}$

Preuve de revendication 1. Par approximation de Stirling, où$i!=\sqrt{2\pi i}(i/e)^ie^\lambda$$\lambda\in[1/(12i+1),1/12i].$

Ainsi, , qui est , est au moins QED$k\choose \ell$$\frac{k!}{\ell! (k-\ell)!}$

$$\frac{\sqrt{2\pi k}\,(\frac{k}{e})^k} { \sqrt{2\pi \ell}\,(\frac{\ell}{e})^\ell ~~\sqrt{2\pi (k-\ell)}\,(\frac{k-\ell}{e})^{k-\ell} } \exp\Big(\frac{1}{12k+1} - \frac{1}{12\ell} - \frac{1}{12(k-\ell)}\Big)$$ $$~\ge~ \frac{1}{\sqrt{2\pi\ell}} \Big(\frac{k}{\ell}\Big)^{\ell} \Big(\frac{k}{k-\ell}\Big)^{k-\ell}e^{-1}.$$

Preuve du lemme 1 partie (i). Sans perte de généralité, supposons que chaque variable aléatoire 0/1 dans la somme est 1 avec une probabilité exactement . Remarque est égal à la somme , et .$X$ $p$$\Pr[X\le (1-\epsilon)p]$$\sum_{i = 0}^{\lfloor(1-\epsilon)pk\rfloor} \Pr[X=i/k]$$\Pr[X=i/k] = {k \choose i} p^i (1-p)^{k-i}$

Fixez . Les termes dans la somme augmentent, donc les termes d'index ont chacun une valeur au moins , donc leur somme a une valeur totale au moins . Pour compléter la preuve, nous montrons que $\ell = \lfloor(1-2\epsilon)pk\rfloor+1$$i\ge\ell$$\Pr[X=\ell/k]$$(\epsilon pk - 2) \Pr[X=\ell/k]$

$$(\epsilon pk - 2) \Pr[X=\ell/k] ~\ge~ \exp({-9\epsilon^2 pk}).$$

Les hypothèses et donnent , donc le côté gauche ci-dessus est au moins . En utilisant la revendication 1, pour lier , c'est à son tour au moins où et $\epsilon^2pk\ge 3$$\epsilon\le 1/2$$\epsilon pk \ge 6$$\frac{2}{3}\epsilon pk\, {k \choose \ell} p^\ell(1-p)^{k-\ell}$$k\choose \ell$$A\, B$$A = \frac{2}{3e}\epsilon p k/ \sqrt{2\pi \ell}$$B= \big(\frac{k}{\ell}\big)^\ell \big(\frac{k}{k-\ell}\big)^{k-\ell} p^\ell (1-p)^{k-\ell}.$

Pour terminer, nous montrons et .$A\ge \exp(-\epsilon^2pk)$$B \ge \exp(-8\epsilon^2 pk)$

Revendication 2. $A \ge \exp({-\epsilon^2 pk})$

Preuve de revendication 2. Les hypothèses et impliquent (i) .$\epsilon^2 pk \ge 3$$\epsilon\le 1/2$$pk\ge 12$

Par définition, . Par (i), . Ainsi, (ii) .$\ell \le pk + 1$$p k \ge 12$$\ell \,\le\, 1.1 pk$

La substitution du côté droit de (ii) à dans donne (iii) .$\ell$$A$$A \ge \frac{2}{3e} \epsilon \sqrt{p k / 2.2\pi}$

L'hypothèse, , implique , qui avec (iii) donne (iv) .$\epsilon^2 pk \ge 3$$\epsilon\sqrt{ pk} \ge \sqrt 3$$A \ge \frac{2}{3e}\sqrt{3/2.2\pi} \ge 0.1$

De il s'ensuit que (v) .$\epsilon^2pk \ge 3$$\exp(-\epsilon^2pk) \le \exp(-3) \le 0.04$

(iv) et (v) donnent ensemble la demande. QED

Revendication 3. .$B\ge \exp({-8\epsilon^2 pk})$

Preuve de revendication 3. Fixez telle sorte que . Le choix de implique , donc la revendication restera aussi longtemps que . En prenant chaque côté de cette dernière inégalité à la puissance et en simplifiant, cela équivaut à Substituant et simplifiant, il équivaut à $\delta$$\ell=(1-\delta)pk$
$\ell$$\delta\le 2\epsilon$$B \ge \exp(-2\delta^2pk)$$-1/\ell$

$$\frac{\ell}{p k} \Big(\frac{k-\ell}{(1-p) k}\Big)^{k/\ell-1} ~\le~ \exp\Big(\frac{2\delta^2 pk}{\ell}\Big).$$ $\ell= (1-\delta)pk$ $$(1-\delta) \Big(1+\frac{\delta p}{1-p}\Big)^{\displaystyle \frac{1}{(1-\delta)p}-1} ~\le~ \exp\Big(\frac{2\delta^2}{1-\delta}\Big).$$ En prenant le logarithme des deux côtés et en utilisant deux fois, il tiendra aussi longtemps que Le côté gauche ci-dessus se simplifie en , qui est inférieur à car . QED$\ln(1+z)\le z$ $$-\delta\, +\,\frac{\delta p}{1-p}\Big(\frac{1}{(1-\delta)p}-1\Big) ~\le~ \frac{2\delta^2}{1-\delta}.$$ $\delta^2/\,(1-p)(1-\delta)$$2\delta^2/(1-\delta)$$p\le 1/2$

Les revendications 2 et 3 impliquent . Cela implique une partie (i) du lemme.$A B \ge \exp({-\epsilon^2pk})\exp({- 8\epsilon^2pk})$

Preuve du lemme 1 partie (ii). Sans perte de généralité, supposons que chaque variable aléatoire est avec une probabilité exactement .$1$$p$

Remarque . Fixez .$\Pr[X\ge (1+\epsilon)p] = \sum_{i = \lceil(1-\epsilon)pk\rceil}^n \Pr[X=i/k]$$\hat\ell = \lceil (1+2\epsilon)pk \rceil - 1$

Les derniers termes dans la somme totale au moins , qui est au moins . (La preuve en est la même que pour (i), sauf avec remplacé par et remplacé par telle sorte que .) QED$\epsilon pk$$(\epsilon pk-2)\Pr[X=\hat\ell/k]$$\exp({-9\epsilon^2 pk})$$\ell$$\hat\ell$$\delta$$-\hat\delta$$\hat\ell = (1+\hat\delta)pk$

Le théorème de Berry-Esseen peut donner des limites inférieures de probabilité de queue, tant qu'elles sont supérieures à .$n^{-1/2}$

Un autre outil que vous pouvez utiliser est l' inégalité de Paley-Zygmund . Cela implique que pour tout entier pair et toute variable aléatoire de valeur réelle ,$k$$X$

$$\Pr[|X| >= \frac{1}{2}(\mathbb{E}[X^k])^{1/k}] \geq \frac{\mathbb{E}[X^k]^2}{4\mathbb{E}[X^{2k}]}$$

Avec le théorème multinomial, pour une somme de variables aléatoires rademacher Paley-Zygmund peut vous donner des bornes inférieures assez fortes. Il fonctionne également avec des variables aléatoires d'indépendance bornée. Par exemple , vous obtenez facilement que la somme indépendante 4-sage variables aléatoires est avec une probabilité constante.$X$$n$$n$$\pm 1$$\Omega(\sqrt{n})$

Si vous êtes en effet d'accord avec les sommes limites des essais de Bernoulli (et non, disons, les variables aléatoires bornées), ce qui suit est assez serré.

Inégalité des boues *. Soit être iid dessine à partir d'un RV de Bernoulli avec , et que l'entier soit donné. Si (a) et , ou (b) , alors où est le cdf d'une normale standard.$\{X_i\}_{i=1}^n$$\mathbb{E}(X_1) = p$$k\leq n$$p\leq 1/4$$np \leq k$$np \leq k \leq n(1-p)$

$$\text{Pr}\big[\sum_i X_i \geq k\big] \geq 1 - \Phi\left(\frac{k-np}{\sqrt{np(1-p)}}\right),$$ $\Phi$

(Traiter l'argument de comme transformant la normale standard, cela correspond exactement à ce que le CLT vous dit; en fait, cela nous dit que les binômes satisfaisant aux conditions du théorème domineront leurs gaussiens correspondants sur les queues supérieures.)$\Phi$

À partir d'ici, vous pouvez utiliser des limites sur pour obtenir quelque chose de plus agréable. Par exemple, dans le premier livre de Feller, dans la section sur les Gaussiens, il est indiqué pour chaque que où est la densité d'une normale standard. Il existe également des limites similaires dans l'article de Wikipédia pour la "fonction Q".$\Phi$$z>0$

$$\frac{z}{1+z^2}\varphi(z) < 1-\Phi(z) < \frac{1}{z}\varphi(z),$$ $\varphi$

À part cela, et ce que d'autres personnes ont dit, vous pouvez également essayer d'utiliser le Binomial directement, peut-être avec du Stirling.

(*) Certaines déclarations plus récentes de l'inégalité de Slud omettent certaines de ces conditions; J'ai reproduit celui dans le papier de Slud.

Le théorème de Moivre-Laplace montre que des variables comme, après avoir été convenablement normalisé et sous certaines conditions, convergera en distribution vers une distribution normale. C'est suffisant si vous voulez des bornes inférieures constantes.$|T\cap S_1|$

Pour les bornes inférieures comme , vous avez besoin d'un outil légèrement plus fin. Voici une référence que je connais (mais seulement par accident - je n'ai jamais eu l'occasion d'utiliser moi-même une telle inégalité). Certaines limites inférieures explicites sur les probabilités de queue des distributions binomiales sont données comme Théorème 1.5, le livre Graphiques aléatoires de Béla Bollobás, Cambridge, 2e édition, où d'autres références sont données à Une introduction à la probabilité et ses applications par Feller et Foundations of Probability par Rényi.$n^{-c}$

Le théorème de Littlewood-Offord généralisé n'est pas exactement ce que vous voulez, mais il donne ce que je pense être un "Tchernoff inversé" lié en montrant que la somme des variables aléatoires est peu susceptible de se situer dans une petite plage autour d'une valeur particulière (y compris l'attente). Ce sera peut-être utile.

Formellement, le théorème est le suivant.

Théorème généralisé de Littlewood-Offord : Soit et des nombres réels tels que pour et soit des variables aléatoires indépendantes qui ont des valeurs zéro et un. Pour , supposons que pour tout . Ensuite, pour tout , Où est une constante ne dépendant que de .$a_1, \ldots, a_n$$s>0$$|a_i| \ge s$$1 \le i \le n$$X_1, \ldots, X_n$$0 < p \le \frac{1}{2}$$p \le \Pr[X_i = 0] \le 1-p$$1 \le i \le n$$r \in \mathcal{R}$

$$\Pr \left[ r \le \sum_{i=1}^{n}{a_iX_i} < r+s\right] \le \frac{c_p}{\sqrt{n}}$$ $c_p$$p$

L'exposant dans la borne Chernoff standard, comme il est indiqué sur Wikipédia, est serré pour les variables aléatoires de valeur 0/1. Soit et soit une séquence de variables aléatoires indépendantes telles que pour chaque , et . Alors pour chaque , $0<p<1$$X_1,X_2,\ldots$$i$$\Pr[X_i=1]=p$$\Pr[X_i=0]=1-p$$\varepsilon>0$

$$\begin{equation} \frac{2^{-D(p+\varepsilon\| p)\cdot n}}{n+1}\leq \Pr\left[ \sum_{i=1}^n X_i \geq (p+\varepsilon)n\right]\leq 2^{-D(p+\varepsilon\| p)\cdot n}. \end{equation}$$

Ici, , qui est la divergence de Kullback-Leibler entre Bernoulli aléatoire variables avec les paramètres et .$D(x\| y)=x \log_2(x/y)+(1-x)\log_2((1-x)/(1-y))$$x$$y$

Comme mentionné, la limite supérieure de l'inégalité ci-dessus est prouvée sur Wikipedia ( https://en.wikipedia.org/wiki/Chernoff_bound ) sous le nom de "Théorème de Chernoff-Hoeffding, forme additive". La borne inférieure peut être prouvée en utilisant par exemple la "méthode des types". Voir Lemme II.2 dans [1]. En outre, cela est couvert dans le manuel classique sur la théorie de l'information par Cover et Thomas.

[1] Imre Csiszár: La méthode des types. Transactions de l'IEEE sur la théorie de l'information (1998). http://dx.doi.org/10.1109/18.720546