Problème d'anniversaire inversé avec plusieurs collisions

Supposons que vous ayez eu une année étrangère avec une longueur inconnue N. Si vous avez un échantillon aléatoire desdits étrangers et que certains partagent des anniversaires, pouvez-vous utiliser ces données pour estimer la longueur de l'année?

Par exemple, dans un échantillon de 100, vous pourriez avoir deux triplets (c'est-à-dire deux anniversaires partagés chacun par trois étrangers) et cinq paires et quatre-vingt-quatre singletons. Pour estimer N, le minimum absolu est de 91 et le maximum est illimité, mais comment pourrais-je trouver une valeur attendue raisonnable?

Les hypothèses incluent des choses comme «tous les anniversaires sont également probables».

Contrairement à une autre question posée ici, il y a des collisions connues dans la pièce. Toute année suffisamment longue aura une forte probabilité d'absence de collisions pour une chambre d'étrangers. Mais les très longues années auront de faibles chances de collision, et les années courtes auront de faibles chances de peu de collisions, fournissant ainsi une fourchette (théorique) pour les durées les plus probables.

estimation inference birthday-paradox

— Techhead
source

Ma réponse à une version spéciale de cette question se généralise facilement (en utilisant la distribution multinomiale): voir stats.stackexchange.com/questions/252813 .

— whuber

@Techhead De différentes manières! L'approche évidente à mentionner pour l'estimation des paramètres serait le maximum de vraisemblance.

— Glen_b -Reinstate Monica

Duplication possible d' un problème d'anniversaire inversé: aucune paire sur 1 million d'étrangers ne partage un anniversaire; quelle est leur durée d'année?

— Stephan Kolassa

@whuber J'ai vu cette question et votre commentaire, mais je n'ai pas vu comment l'appliquer en grande partie à un échantillon avec des collisions connues. Il n'est pas difficile de trouver la forme développée, mais je ne sais pas comment je trouverais la somme logarithmique.

— Techhead

Je suis d'accord que votre version est suffisamment compliquée pour ne pas être fermée en double.

— whuber

Réponses:

La valeur attendue d'une distribution est calculée comme . Pour ce problème, nous voulons calculer la distribution de certains critères de collision, ou trouver certains critères de collision, où $E(X) = \sum {p_ix_i}$ $N$ $E(N) = \sum_{n=0}^{\infty}p_n n$ $p_n=P(N=n).$

Supposons que vous ayez certains critères de collision comme indiqué ci-dessus, et que soit la probabilité que les critères de collision soient remplis étant donné que la longueur de l'année estEnsuite, peut être trouvé en divisant simplement le nombre de façons dont les critères de collision peuvent être satisfaits par le nombre de façons dont les anniversaires peuvent être organisés en général. Une fois trouvé pour chaque possible , la seule pièce manquante est la traduction de en $q_n$ $n.$ $q_n$ $q_n$ $n$ $q_n$ $p_n.$

Si nous supposons que est proportionnel à , alorsPuisque , etPar conséquent, nous avons juste besoin d'une formule pour pour résoudre ce problème. $p_n$ $q_n$ $p_n= \alpha q_n.$ $\sum_{n=0}^{\infty} p_n=1$ $\alpha \sum_{n=0}^{\infty} q_n=1$ $\alpha=\frac{1}{\sum_{n=0}^{\infty} q_n}.$ $q_n$

Pour votre exemple, laissez-nous d'abord trouver le nombre de façons dont les critères de collision peuvent se produire étant donnéLe premier singleton étranger peut atterrir un jour, donc il y a possibilités. Le prochain singleton peut atterrir n'importe quel jour, mais l'anniversaire du premier étranger, il y a donc possibilités. En complétant cela pour les 84 premiers singletons, nous obtenons façons possibles pour que cela se produise. Notez que nous avons également 5 paires et 2 triplets, donc le "premier" étranger pour chaque groupe ne doit pas non plus atterrir sur les paires singleton. Cela conduit à un façons dont ces extraterrestres ne se heurtent pas (la syntaxe maladroite est pour une généralisation plus facile plus tard). $N=n.$ $n$ $n-1$ $n(n-1)(n-2)...(n-83)$ $n(n-1)(n-2)...(n-84-5-2 + 1)$

Ensuite, le deuxième étranger pour une paire ou un triplet donné a 91 choix, le suivant a 90, etc., le nombre total de façons dont cela peut se produire étant donné les anniversaires des 91 premiers étrangers est de . Les membres restants des triplés doivent tomber les anniversaires des paires, et la probabilité que cela se produise est de . Nous multiplions les probabilités pour tous ensemble pour obtenir un nombre total de façons possibles pour que les critères de collision soient respectés: $91(91-1)(91-2)...(91-7+1)$ $7*6$

r_{n} = n (n - 1) . . . (n - 84 - 5 - 2 + 1) (84 + 5 + 2) (84 + 5 + 2 - 1) . . . (84 + 1) (5 + 2) (5 + 1)

$r_n=n(n-1)...(n-84-5-2+1)(84+5+2)(84+5+2-1)...(84+1)(5+2)(5+1)$

À ce stade, le modèle est clair, si nous avons singletons, des paires et des triplets , nous remplaçons 84 par 5 par et 2 par pour obtenir une formule généralisée. Je pense qu'il est également clair que le nombre de façons possibles d'organiser les anniversaires en général est , où m est le nombre total d'étrangers dans le problème. Par conséquent, la probabilité de satisfaire aux critères de collision est le nombre de façons de satisfaire aux critères de collision divisé par le nombre de façons dont les extraterrestres pourraient naître, ou . $a$ $b$ $c$ $a,$ $b,$ $c$ $n^m$ $q_n=\frac{r_n}{n^m}$

Une autre chose intéressante est apparue dans la formule de . Soit , Et soit être la partie restante de sorte que . Notez que est indépendant de n, nous pouvons donc simplement écrire comme constante! Puisque et , nous pouvons en fait factoriser de la somme dans le dénominateur. À ce stade, il annule la partie du numérateur pour obtenir . On peut simplifier $r_n$ $y_n=n(n-1)...(n-(a+b+c)+1)=\frac{n!}{(n-(a+b+c))!}$ $z_n$ $r_n$ $r_n=y_nz_n$ $z_n$ $z_n=z$ $p_n=q_n/\sum_{i=0}^\infty q_i$ $q_n=\frac{zy_n}{n^m}$ $z$ $p_n=\frac{y_n}{n^m}/\sum_{i=0}^\infty (\frac{y_i}{i^m})$ $y_n$ de plus si nous laissons (ou cela peut être considéré comme le nombre d'anniversaires uniques dans le groupe des étrangers), de sorte que nous obtenons: $s=a+b+c$

p_{n} = \frac{\frac{n!}{(n - s)!}}{n^{m}} / \sum_{i = 0}^{\infty} (\frac{\frac{i!}{(i - s)!}}{i^{m}})

$p_n=\frac{\frac{n!}{(n-s)!}}{n^m}/\sum_{i=0}^\infty (\frac{\frac{i!}{(i-s)!}}{i^m})$

Nous avons maintenant une formule (assez) simple pour , et donc une formule (assez) simple pour , où la seule hypothèse faite était que est proportionnelle à (la probabilité de rencontrer la collision critères étant donné que ). Je pense que c'est une hypothèse juste à faire, et quelqu'un de plus intelligent que moi pourrait même être en mesure de prouver que cette hypothèse est associée à suite d'une distribution multinomiale. À ce stade, nous pouvons calculer utilisant des méthodes numériques ou faire des hypothèses d'approximation, car approchera de 0 tandis que approche . $p_n$ $E(N)$ $P(N=n)$ $q_n$ $N=n$ $P(N=n)$ $E(N)$ $p_n$ $n$ $\infty$

— Cody Maughan
source

Il semble que vous proposiez de calculer la valeur attendue en fonction d'une fonction de vraisemblance plutôt que d'une fonction de masse de probabilité. Était-ce intentionnel?

— Sextus Empiricus

L'excellente réponse de Cody offre une belle façon d'exprimer la fonction de vraisemblance pour , le nombre de jours dans l'année (ou la distribution postérieure basée sur un avant plat) par l' affacturage sur une partie de la probabilité indépendante de . $N$ $N$

Dans cette réponse, je voudrais l'écrire de manière plus concise et fournir également un moyen de calculer le maximum de cette fonction de vraisemblance (plutôt que la valeur attendue qui est beaucoup plus difficile à calculer).

Fonction de vraisemblance pour N

Le nombre de façons de dessiner une séquence d' anniversaires partir d'un ensemble de anniversaires, avec la restriction que est le nombre d'anniversaires simples, anniversaires en double et triples anniversaires est égal à $a+2b+3c$ $n$ $a$ $b$ $c$

\begin{array}{ccl} r_{n} & = & \underset{\begin{array}{ccc} number of ways to \\ pick m unique birthdays \\ out of n days \end{array}}{\underset{⏟}{(\binom{n}{a + b + c})}} \underset{\begin{array}{ccc} number of ways to \\ distribute m birthdays \\ among groups of size a, b and c \end{array}}{\underset{⏟}{\frac{(a + b + c)!}{a! b! c!}}} \underset{\begin{array}{ccc} number of ordered ways to \\ arrange specific \\ single, duplicate, and triplicates \\ among the aliens \end{array}}{\underset{⏟}{\frac{(a + 2 b + 3 c)!}{1!^{a} 2!^{b} 3!^{c}}}} \\ = & \frac{n!}{(n - a - b - c)!} \times \frac{(a + 2 b + 3 c)}{a! b! c! 1!^{a} 2!^{b} 3!^{c}} \end{array}

$\begin{array}{ccl} r_n &=& \underbrace{{n}\choose{a+b+c}}_{\small\begin{array}{ccc}&\text{number of ways to} &\\ &\text{pick $m$ unique birthdays}& \\ &\text{out of $n$ days}&\end{array}} \underbrace{\frac{(a+b+c)!}{a!b!c!}}_{\small\begin{array}{ccc}&\text{number of ways to} &\\ &\text{distribute $m$ birthdays}& \\ &\text{among groups of size $a$, $b$ and $c$}&\end{array}} \underbrace{\frac{(a+2b+3c)!}{1!^a2!^b3!^c}}_{\small\begin{array}{ccc}&\text{number of ordered ways to} &\\ &\text{arrange specific }& \\&\text{single, duplicate, and triplicates}& \\ &\text{among the aliens }&\end{array}} \\ &=& \frac{n!}{(n-a-b-c)!} \times \frac{(a+2b+3c)}{a!b!c!1!^a2!^b3!^c} \end{array}$

et seul le premier terme à droite dépend de , donc en factorisant les autres termes, nous par une expression simple pour une fonction de vraisemblance $n$

\begin{array}{rcl} L (n | a, b, c) & = & n^{- (a + 2 b + 3 c)} \frac{n!}{(n - a - b - c)!} = n^{- m} \frac{n!}{(n - s)!} \\ \propto & P (a, b, c | n) \end{array}

$\begin{array}{rcl} \mathcal{L}(n|a,b,c) &=& n^{-(a+2b+3c)} \frac{n!}{(n-a-b-c)!} = n^{-m} \frac{n!}{(n-s)!}\\ & \propto & P(a,b,c|n) \end{array}$

où nous suivons la notation de Cody et utilisons pour désigner le nombre d'étrangers et le nombre d'anniversaires uniques. $m$ $s$

Estimation du maximum de vraisemblance pour N

Nous pouvons utiliser cette fonction de vraisemblance pour obtenir l'estimation du maximum de vraisemblance pour . $N$

Notez que

L (n) = L (n - 1) {(\frac{n - 1}{n})}^{m} \frac{n}{n - s}

$\mathcal{L}(n) = \mathcal{L}(n-1) \left(\frac{n-1}{n}\right)^m\frac{n}{n-s}$

et le maximum se produira juste avant le pour lequel $n$

{(\frac{n - 1}{n})}^{m} \frac{n}{n - s} = 1

$\left(\frac{n-1}{n}\right)^m\frac{n}{n-s} = 1$

s = n (1 - {(1 - 1 / n)}^{m})

$s = n \left(1-\left(1-1/n\right)^m \right)$

qui est pour les gros environ (en utilisant une série Laurent que vous pouvez trouver en substituant et en écrivant la série Taylor pour au point ) $n$ $x = 1/n$ $x$ $x=0$

s \approx \sum_{k = 0}^{l} (\binom{m}{k}) (- n)^{- k} + O (n^{- (l + 1)})

$s \approx \sum_{k=0}^l {{m}\choose{k}} (-n)^{-k} + \mathcal{O} \left( n^{-(l+1)} \right)$

En utilisant seulement le terme de premier ordre vous obtenez: $s \approx m - \frac{m(m-1)}{2 n}$

n_{1} \approx \frac{(\binom{m}{2})}{m - s}

$n_1 \approx \frac{ {{m}\choose{2}}}{m-s}$

En utilisant également le terme de second ordre vous obtenez : $s \approx m - \frac{m(m-1)}{2 n} + \frac{m(m-1)(m-2)}{6 n^2}$

n_{2} \approx \frac{(\binom{m}{2}) + \sqrt{{(\binom{m}{2})}^{2} - 4 (m - s) (\binom{m}{3})}}{2 (m - s)}

$n_2 \approx \frac{ {{m}\choose{2}} + \sqrt{{{m}\choose{2}}^2- 4 (m-s){{m}\choose{3}} } }{2(m-s)}$

Ainsi, dans le cas des étrangers parmi lesquels il y a anniversaires uniques, vous obtenez approximativement et . Lorsque vous résolvez l'équation numériquement, vous obtenez que nous arrondissons à pour obtenir le MLE. $m=100$ $s=91$ $n_1 \approx 550$ $n_2 \approx 515.1215$ $n=516.82$ $n=516$

— Sextus Empiricus
source