Qu'est-ce qu'une limite inférieure stricte sur le temps de collecte des coupons?

20

Dans le problème classique du collecteur de coupons , il est bien connu que le temps nécessaire pour terminer un ensemble de coupons choisis au hasard satisfait , , et . $T$ $n$ $E[T] \sim n \ln n$ $Var(T) \sim n^2$ $\Pr(T > n \ln n + cn) < e^{-c}$

Cette limite supérieure est meilleure que celle donnée par l'inégalité de Tchebychev, qui serait d'environ $1/c^2$ .

Ma question est la suivante: existe-t-il une borne inférieure correspondante meilleure que celle de Tchebychev pour $T$ ? (par exemple, quelque chose comme $\Pr(T < n \ln n - cn) < e^{-c}$ )?

probability probability-inequalities coupon-collector-problem

— David
source

Une limite inférieure évidente est

Pr (T < n) = 0

$\Pr(T<n) = 0$ , mais je suppose que vous en êtes conscient ...

— onestop

14

Je fournis cela comme une deuxième réponse car l'analyse est complètement élémentaire et fournit exactement le résultat souhaité.

Proposition Pour $c > 0$ et $n \geq 1$ ,

P (T < n \log n - c n) < e^{- c} .

$\mathbb{P}(T < n \log n - c n ) < e^{-c} \>.$

L'idée derrière la preuve est simple:

Représentez le temps jusqu'à ce que tous les coupons soient collectés sous la forme $T = \sum_{i=1}^n T_i$ , où $T_i$ est le moment où le $i$ ème (jusqu'ici) coupon unique est collecté. Les $T_i$ sont des variables géométriques aléatoires avec des temps moyens de $\frac{n}{n-i+1}$ .
Appliquez une version de la borne Chernoff et simplifiez.

Preuve

Pour tout et tout , nous avons que $t$ $s > 0$

P (T < t) = P (e^{- s T} > e^{- s t}) \leq e^{s t} E e^{- s T} .

$\mathbb{P}(T < t) = \mathbb{P}( e^{-s T} > e^{-s t} ) \leq e^{s t} \mathbb{E} e^{-s T} \> .$

Puisque et sont indépendants, nous pouvons écrire $T = \sum_i T_i$ $T_i$

E e^{- s T} = \prod_{i = 1}^{n} E e^{- s T_{i}}

$\mathbb{E} e^{-s T} = \prod_{i=1}^n \mathbb{E} e^{- s T_i}$

Maintenant que est géométrique, disons avec une probabilité de succès , alors un calcul simple montre $T_i$ $p_i$

E e^{- s T_{i}} = \frac{p_{i}}{e^{s} - 1 + p_{i}} .

$\mathbb{E} e^{-s T_i} = \frac{p_i}{e^s - 1 + p_i} .$

Les pour notre problème sont , , , etc. Par conséquent, $p_i$ $p_1 = 1$ $p_2 = 1 - 1/n$ $p_3 = 1 - 2/n$

\prod_{i = 1}^{n} E e^{- s T_{i}} = \prod_{i = 1}^{n} \frac{i / n}{e^{s} - 1 + i / n} .

$\prod_{i=1}^n \mathbb{E} e^{-s T_i} = \prod_{i=1}^n \frac{i/n}{e^s - 1 + i/n}.$

Nous allons choisir et pour certains . Alors et , donnant $s = 1/n$ $t = n \log n - c n$ $c > 0$

e^{s t} = n e^{- c}

$e^{s t} = n e^{-c}$

e^{s} = e^{1 / n} \geq 1 + 1 / n

$e^s = e^{1/n} \geq 1 + 1/n$

\prod_{i = 1}^{n} \frac{i / n}{e^{s} - 1 + i / n} \leq \prod_{i = 1}^{n} \frac{i}{i + 1} = \frac{1}{n + 1} .

$\prod_{i=1}^n \frac{i/n}{e^s - 1 + i/n} \leq \prod_{i=1}^n \frac{i}{i+1} = \frac{1}{n+1} \> .$

Ensemble, nous obtenons que

P (T < n \log n - c n) \leq \frac{n}{n + 1} e^{- c} < e^{- c}

$P(T < n \log n - c n) \leq \frac{n}{n+1} e^{-c} < e^{-c}$

comme voulu.

— cardinal
source

C'est très bien et c'est exactement ce que le médecin a ordonné. Je vous remercie.

— David

@David, juste curieux: Quelle est l'application prévue?

— Cardinal

Longue histoire. J'essaie de prouver une limite inférieure pour le temps de mélange d'une chaîne de Markov que j'ai préparée afin d'analyser le temps de fonctionnement d'un algorithme qui m'intéresse - qui se révèle réduire à la limite inférieure du c problème de .collector. BTW, j'avais essayé de trouver exactement ce genre de reliure de style Chernoff, mais n'avais pas compris comment se débarrasser de ce produit dans . Bon appel en choisissant :-).

i

$i$

s = 1 / n

$s = 1/n$

— David

@David, , bien que presque certainement sous-optimal, semblait être la chose évidente à essayer car cela donnait , qui est le même terme que celui obtenu dans la dérivation pour la limite supérieure.

s = 1 / n

$s = 1/n$

e^{s t} = n e^{- c}

$e^{s t} = n e^{-c}$

— cardinal

1

Demande : La preuve que j'ai donnée ci-dessus est la mienne. J'y ai travaillé par plaisir, car le problème m'a intrigué. Cependant, je ne revendique aucune nouveauté. En effet, je ne peux pas imaginer qu'une preuve similaire utilisant une technique similaire n'existe pas déjà dans la littérature. Si quelqu'un connaît une référence, veuillez la poster en tant que commentaire ici. Je serais très intéressé d'en connaître un.

— Cardinal

9

Bien que @cardinal ait déjà donné une réponse qui donne précisément la limite que je cherchais, j'ai trouvé un argument similaire à Chernoff qui peut donner une limite plus forte:

Proposition : (c'est plus fort pour )

P r (T \leq n \log n - c n) \leq \exp (- \frac{3 c^{2}}{π^{2}}) .

$Pr (T \leq n \log n - c n) \leq \exp(- \frac{3c^2}{\pi^2} ) \> .$

c > \frac{π^{2}}{3}

$c > \frac{\pi^2}{3}$

Preuve :

Comme dans la réponse de @ cardinal, nous pouvons utiliser le fait que est une somme de variables aléatoires géométriques indépendantes avec des probabilités de succès . Il s'ensuit que et . $T$ $T_i$ $p_i = 1 - i/n$ $E[T_i] = 1/p_i$ $E[T] = \sum_{i=1}^{n} E[T_i] = n \sum_{i=1}^n \frac{1}{i}\geq n \log n$

Définissez maintenant de nouvelles variables , et . On peut alors écrire $S_i : = T_i - E[T_i]$ $S : = \sum_i S_i$

Pr (T \leq n \log n - c n) \leq Pr (T \leq E [T] - c n) = Pr (S \leq - c n)

$\Pr (T \leq n \log n - c n) \leq \Pr (T \leq E[T] - c n) = \Pr (S \leq - c n)$

= Pr (\exp (- s S) \geq \exp (s c n)) \leq e^{- s c n} E [e^{- s S}]

$= \Pr\left(\exp(-s S ) \geq \exp( s cn) \right) \leq e^{-s c n} E\left[ e^{-s S} \right]$

En calculant les moyennes, nous avons

E [e^{- s S}] = \prod_{i} E [e^{- s S_{i}}] = \prod_{i} \frac{e^{s / p_{i}}}{1 + \frac{1}{p_{i}} (e^{s} - 1)} \leq e^{\frac{1}{2} s^{2} \sum_{i} p_{i}^{- 2}}

$E[e^{-s S}] = \prod_i E[e^{-s S_i}] = \prod_i \frac{e^{s / p_i} } {1 + \frac{1}{p_i} (e^s -1)} \leq e^{\frac{1}{2}s^2\sum_i p_i^{-2}}$ où l'inégalité découle des faits que et aussi pour .

e^{s} - 1 \geq s

$e^s - 1\geq s$

\frac{e^{z}}{1 + z} \leq e^{\frac{1}{2} z^{2}}

$\frac{e^z}{1+z}\leq e^{\frac{1}{2}z^2}$

z \geq 0

$z\geq 0$

Ainsi, puisque , nous pouvons écrire $\sum_i p_i ^{-2} = n^2 \sum_{i=1}^{n-1} \frac{1}{i^2} \leq n^2 \pi^2/6$

\begin{aligned} Pr (T \leq n \log n - c n) \leq e^{\frac{1}{12} (n π s)^{2} - s c n} . \end{aligned}

$\begin{align*} \Pr( T \leq n \log n - c n ) \leq e^{\frac{1}{12} (n \pi s)^2 - s c n}. \end{align*}$

En minimisant sur , on obtient enfin $s>0$

Pr (T \leq n \log n - c n) \leq e^{- \frac{3 c^{2}}{π^{2}}}

$\Pr( T \leq n\log n -cn ) \leq e^{-\frac{3 c^2 }{\pi^2}}$

— David
source

1

(+1) Modulo quelques fautes de frappe mineures, c'est bien. Se développer autour de quelque chose de proche de la moyenne comme vous l'avez souvent fait fonctionne mieux. Je ne suis pas surpris de voir la convergence d'ordre supérieur à la lumière des résultats asymptotiques. Maintenant, si vous montrez une telle limite supérieure similaire, cela prouve que est sous- exponentiel dans la terminologie de Vershynin, ce qui a de nombreuses implications concernant la concentration de mesure.

(T - n \log n) / n

$(T-n\log n)/n$

— Cardinal

1

L'argument ne semble pas se généraliser directement à la limite supérieure. En échangeant pour (et pour ), on peut suivre les mêmes étapes jusqu'au point de calculer . À ce stade, cependant, le mieux que je puisse faire est d'utiliser , ce qui laisse toujours et je ne sais pas quoi faire avec ça

c

$c$

- c

$-c$

s

$s$

- s

$-s$

E [e^{s S}] \leq \prod_{i} \frac{e^{- s / p_{i}}}{1 - \frac{s}{p_{i}}}

$E[e^{sS}] \leq \prod_i \frac{e^{-s/p_i}}{1 - \frac{s}{p_i}}$

\frac{e^{- z}}{1 - z} \leq \exp (\frac{z^{2}}{2 (1 - z)})

$\frac{e^{-z}}{1-z} \leq \exp( \frac{z^2}{2(1-z)} )$

E [e^{s S}] \leq e^{\frac{1}{2} s^{2} \sum_{i} \frac{p_{i}^{2}}{(1 - s / p_{i})}}

$E[e^{sS}] \leq e^{\frac{1}{2} s^2\sum_i \frac{p_i^2}{(1-s/p_i)}}$

— David

2

Chose intéressante, cependant, l'argument entier (pour la borne inférieure) semble fonctionner non seulement pour le problème du collecteur de coupons, mais pour toute somme de variables géométriques indépendantes non identiques avec une variance bornée. Plus précisément: étant donné , où chaque est un GV indépendant avec une probabilité de succès , et où , alors

T = \sum_{i} T_{i}

$T = \sum_i T_i$

T_{i}

$T_i$

p_{i}

$p_i$

\sum_{i} p_{i}^{- 2} \leq A < \infty

$\sum_i p_i^{-2} \leq A < \infty$

Pr (T \leq E [T] - a) \leq e^{- \frac{a^{2}}{2 A}}

$\Pr ( T \leq E[T] - a ) \leq e^{-\frac{a^2}{2A}}$

— David

4

Remarque importante : j'ai décidé de supprimer la preuve que j'ai donnée à l'origine dans cette réponse. Il était plus long, plus computationnel, utilisait des marteaux plus gros, et s'est avéré un résultat plus faible par rapport à l'autre preuve que j'ai donnée. Tout autour, une approche inférieure (à mon avis). Si vous êtes vraiment intéressé, je suppose que vous pouvez regarder les modifications.

Les résultats asymptotiques que j'ai cités à l'origine et qui se trouvent encore ci-dessous dans cette réponse montrent qu'en tant que nous pouvons faire un peu mieux que la limite prouvée dans l'autre réponse, qui vaut pour tout . $n \to \infty$ $n$

Les résultats asymptotiques suivants sont valables

P (T > n \log n + c n) \to 1 - e^{- e^{- c}}

$\mathbb{P}(T > n \log n + c n ) \to 1 - e^{-e^{-c}}$

et

P (T \leq n \log n - c n) \to e^{- e^{c}} .

$\mathbb{P}(T \leq n \log n - c n ) \to e^{-e^c} \>.$

La constante et les limites sont considérées comme . Notez que, bien qu'ils soient séparés en deux résultats, ils sont à peu près le même résultat puisque n'est pas contraint d'être non négatif dans les deux cas. $c \in \mathbb{R}$ $n \to \infty$ $c$

Voir, par exemple, Motwani et Raghavan, Randomized Algorithms , pp.60-63 pour une preuve.

Aussi : David fournit aimablement une preuve de sa limite supérieure indiquée dans les commentaires de cette réponse.

— cardinal
source

Oui, cela vaut pour chaque fixe . Une preuve (très simple) peut être trouvée, par exemple dans le livre de Levin, Peres et Wilmer, Markov Chains and Mixing Times, Proposition 2.4. Cependant, la preuve ne fonctionne pas pour la borne inférieure.

n

$n$

— David

1

En fait, je pourrais aussi bien transcrire la preuve ici: "Soit l'événement si le ème [coupon] n'apparaît pas parmi les premiers coupons tirés. Observez d'abord que . Puisque chaque essai a une probabilité de ne pas tirer le coupon et que les essais sont indépendants, le côté droit ci-dessus est délimité au-dessus par , prouvant (2.7). "

A_{i}

$A_i$

i

$i$

n \log n + c n

$n \log n + cn$

P (τ > n \log n + c n) = P (\cup_{i} A_{i}) \leq \sum_{i} P (A_{i})

$P(\tau >n\log n+cn )=P (\cup_{i} A_i ) \leq \sum_i P(A_i)$

1 - n^{- 1}

$1 − n^{−1}$

i

$i$

\sum_{i} (1 - 1 / n)^{n \log n + c n} \leq n \exp (\frac{n \log n + c n}{n}) = e^{- c}

$\sum_i (1 - 1/n)^{n \log n + cn} \leq n \exp(\frac{n \log n + cn}{n} ) = e^{-c}$

— David

@ David, c'est sympa et assez simple. J'ai rapidement joué avec l'élargissement de la formule d'inclusion-exclusion par un autre terme, mais je n'ai pas réussi à aller vite et je n'ai pas eu le temps de l'examiner davantage. L'événement est équivalent à l'événement où aucun coupon n'est laissé après les essais de . Il devrait y avoir une martingale associée à cela. Avez-vous essayé l'inégalité de Hoeffding sur la martingale associée (présumée)? Le résultat asymptotique suggère une forte concentration de mesure.

{T < t_{n}}

$\{T < t_n\}$

t_{n}

$t_n$

— cardinal

@ David, il y a un flip signe dans votre preuve ci-dessus, mais je suis sûr que cela est évident pour les autres lecteurs aussi.

— cardinal

@David, veuillez consulter mon autre réponse publiée à votre question. La méthode est différente de la limite supérieure que vous donnez, mais les outils utilisés sont presque aussi élémentaires, contrairement à la réponse que j'ai donnée ici.

— cardinal

2

Benjamin Doerr donne (dans le chapitre "Analyse de l'heuristique de recherche aléatoire: outils de la théorie des probabilités" dans le livre "Théorie de l'heuristique de recherche aléatoire", voir le lien pour un PDF en ligne) une preuve assez simple de

Proposition Soit l'heure d'arrêt du processus de collecte des coupons. Alors . $T$ $\Pr[T\le (1-\epsilon)(n-1)\ln n]\le e^{-n^{\epsilon}}$

Cela semble donner l'asymptotique souhaitée (d'après la deuxième réponse de @ cardinal), mais avec l'avantage d'être vrai pour tous les et . $n$ $\epsilon$

Voici un croquis de preuve.

Esquisse de preuve: Soit l'événement où le ème coupon est collecté lors des premiers tirages. Ainsi, . Le fait clé est que les sont corrélés négativement, pour tout , . Intuitivement, cela est assez clair, car sachant que le ème coupon dans les premiers tirages rendrait moins probable que le ème coupon soit également tiré dans les premiers tirages. $X_i$ $i$ $t$ $\Pr[X_i=1]=(1-1/n)^t$ $X_i$ $I\subseteq[n]$ $\Pr[\forall i\in I, X_i=1]\le\prod_{i\in I}\Pr[X_i=1]$ $i$ $t$ $j$ $t$

On peut prouver la revendication, mais en agrandissant l'ensemble de 1 à chaque étape. Ensuite , il se réduit à montrer que , pour . De manière équivalente, en faisant la moyenne, cela revient à montrer que . Doerr ne donne qu'un argument intuitif pour cela. Une voie vers une preuve est la suivante. On peut observer que conditionnée par le coupon venant après tous les coupons dans , que la probabilité de tirer un nouveau coupon de après avoir tiré jusqu'à présent soit maintenant , au lieu du précédent $I$ $\Pr[\forall i\in I, X_i=1|X_j=1]\le\Pr[\forall i\in I,X_i=1]$ $j\notin I$ $\Pr[\forall i\in I, X_i=1|X_j=0]\ge\Pr[\forall i\in I,X_i=1]$ $j$ $I$ $I$ $k$ $\frac{|I|-k}{n-1}$ $\frac{|I|-k}{n}$ . Ainsi, en décomposant le temps de collecte de tous les coupons sous la forme d'une somme de variables géométriques aléatoires, nous pouvons voir que le conditionnement sur le -coupon à venir après augmente les probabilités de succès, et donc faire le conditionnement ne fait que rendre plus probable la collecte des coupons plus tôt ( par dominance stochastique: chaque variable géométrique aléatoire est augmentée, en termes de dominance stochastique, par le conditionnement, et cette dominance peut alors être appliquée à la somme). $j$ $I$

Compte tenu de cette corrélation négative, il s'ensuit que , ce qui donne la borne souhaitée avec . $\Pr[T\le (1-\epsilon)(n-1)\ln n]\le (1-(1-1/n)^t)^n$ $t=(1-\epsilon)(n-1)\ln n$

— miforbes
source