Comprendre intuitivement pourquoi la distribution de Poisson est le cas limite de la distribution binomiale

Dans "Data Analysis" de DS Sivia, il y a une dérivation de la distribution de Poisson, à partir de la distribution binomiale.

Ils soutiennent que la distribution de Poisson est le cas limite de la distribution binomiale lorsque , où est le nombre d'essais.$M\rightarrow\infty$$M$

Question 1: Comment comprendre intuitivement cet argument?

Question 2: Pourquoi la grande limite de égale à , Où est le nombre de succès dans essais? (Cette étape est utilisée dans la dérivation.)$M$$\frac{M!}{N!(M-N)!}$$\frac{M^{N}}{N!}$$N$$M$

Je vais essayer une explication simple et intuitive. Notez que pour une variable aléatoire binomiale nous avons l'espérance est n p et la variance est n p ( 1 - p ) . Maintenant, pensons que X enregistre le nombre d'événements dans un très grand nombre n d'essais, chacun avec une très faible probabilité p , de sorte que nous sommes très proches de 1 - p = 1 (vraiment ≈ ). On a alors n p = $X \sim \text{Bin}(n,p)$$n p$$n p (1-p)$$X$$n$$p$$1-p=1$$\approx$$np=\lambda$disons, et , de sorte que la moyenne et la variance sont toutes deux égales à λ . Souvenez-vous ensuite que pour une variable aléatoire de poisson distribuée, nous avons toujours une moyenne et une variance égales! C'est au moins un argument de plausibilité pour l'approximation du poisson, mais pas une preuve.$n p (1-p) \approx n p 1 =\lambda$$\lambda$

Ensuite, regardez-le d'un autre point de vue, le processus de point de poisson https://en.wikipedia.org/wiki/Poisson_point_process sur la ligne réelle. Il s'agit de la distribution des points aléatoires sur la ligne que nous obtenons si des points aléatoires se produisent selon les règles:

1. les points à intervalles disjoints sont indépendants
2. la probabilité d'un point aléatoire dans un intervalle très court est proportionnelle à la longueur de l'intervalle
3. la probabilité de deux points ou plus dans un intervalle très court est essentiellement nulle.

La distribution du nombre de points dans un intervalle donné (pas nécessairement court) est alors de Poisson (avec le paramètre proportionnel à la longueur). Maintenant, si nous divisons cet intervalle en de très nombreux sous-intervalles ( n ) également très courts , la probabilité de deux ou plusieurs points dans un sous-intervalle donné est essentiellement nulle, de sorte que ce nombre aura, à une très bonne approximation, une distribution de bernolli, c'est-à-dire Bin ( 1 , p ) , donc la somme de tout cela sera Bin ( n , p ) , donc une bonne approximation de la distribution de poisson du nombre de points dans cet (long) intervalle.$\lambda$$n$$\text{Bin}(1,p)$$\text{Bin}(n,p)$

Edit de @Ytsen de Boer (OP): @ Łukasz Grad répond de manière satisfaisante à la question numéro 2.

Permettez-moi de fournir une autre heuristique. Je vais montrer comment approximer le processus de Poisson sous forme de binôme (et faire valoir que l'approximation est meilleure pour de nombreux essais à faible probabilité). Par conséquent, la distribution binomiale doit tendre vers la distribution de Poisson.

Disons que les événements se produisent à un rythme constant dans le temps. Nous voulons connaître la distribution du nombre d'événements survenus dans une journée, sachant que le nombre prévu d'événements est $\lambda$ .

Eh bien, le nombre prévu d'événements par heure est $\lambda/24$ . Imaginons que cela signifie que la probabilité qu'un événement se produise dans une heure donnée soit $\lambda/24$ . [ce n'est pas tout à fait vrai, mais c'est une approximation décente si $\lambda/24 \ll 1$ fondamentalement si nous pouvons supposer que plusieurs événements ne se produisent pas dans la même heure]. Ensuite, nous pouvons approximer la distribution du nombre d'événements sous forme de binôme avec $M=24$ essais, chacun ayant une probabilité de succès $\lambda/24$ .

Nous améliorons l'approximation en changeant notre intervalle en minutes. Alors c'est $p=\lambda/1440$ avec $M=1440$ essais. Si $\lambda$ est autour, disons 10, alors nous pouvons être assez confiants qu'aucune minute n'a eu deux événements.

Bien sûr, cela va mieux si nous passons aux secondes. Nous examinons maintenant $M=86400$ événements chacun avec la faible probabilité $\lambda/86400$ .

Quelle que soit la taille de votre $\lambda$ , je peux éventuellement choisir un $\Delta t$ suffisamment petit pour qu'il soit très probable qu'aucun événement ne se produise dans le même intervalle. Alors la distribution binomiale correspondant à cette $\Delta t$ sera une excellente correspondance avec la vraie distribution de Poisson.

La seule raison pour laquelle ils ne sont pas exactement les mêmes est qu'il existe une probabilité non nulle que deux événements se produisent dans le même intervalle de temps. Mais étant donné qu'il n'y a que autour des événements $\lambda$ et qu'ils sont répartis dans un certain nombre de compartiments beaucoup plus grands que $\lambda$ , il est peu probable que deux d'entre eux se trouvent dans le même compartiment.

En d' autres termes, la distribution binomiale tend à la distribution de Poisson comme $M \to \infty$ si la probabilité de réussite est $p=\lambda/M$ .

question 1

Rappelons la définition de la distribution binomiale:

une distribution de fréquence du nombre possible de résultats positifs dans un nombre donné d' essais dans chacun desquels il y a la même probabilité de succès.

Comparez cela à la définition de la distribution de Poisson:

une distribution de fréquence discrète qui donne la probabilité qu'un certain nombre d'événements indépendants se produisent dans un temps fixe .

La différence substantielle entre les 2 est que le binôme est dans essais, Poisson est sur une période de temps t . Comment la limite peut-elle se produire intuitivement?$n$$t$

Disons que vous devez continuer à exécuter les essais de Bernoulli pour l'éternité. De plus, vous exécutez par minute. Par minute, vous comptez chaque succès. Donc, pour toute l'éternité, vous exécutez un processus B i n ( p , 30 ) toutes les minutes. Sur 24 heures, vous avez un B i n ( p , 43200 ) .$n = 30$$Bin(p,30)$$Bin(p,43200)$

Lorsque vous êtes fatigué, on vous demande "combien de succès ont eu lieu entre 18h00 et 19h00?". Votre réponse peut être de , c'est-à-dire que vous fournissez les succès moyens en une heure. Pour moi, cela ressemble beaucoup au paramètre Poisson λ .$30*60*p$$\lambda$

Question 2)

$$\frac{\frac{M!}{N!(M-N)!}}{\frac{M^N}{N!}} = \frac{M(M-1)\dots(M - N + 1)}{M^N} = 1(1 - \frac{1}{M})\dots(1 - \frac{N - 1}{M})$$

Donc, en prenant la limite pour N fixe$N$

$$\lim_{M \to \infty} \frac{\frac{M!}{N!(M-N)!}}{\frac{M^N}{N!}} = \lim_{M \to \infty} 1(1 - \frac{1}{M})\dots(1 - \frac{N - 1}{M}) = 1$$

Le problème est que votre caractérisation du Poisson comme cas limite de la distribution binomiale n'est pas tout à fait correcte comme indiqué .

Le Poisson est un cas limite du binôme lorsque: La deuxième partie est importante. Si p reste fixe, la première condition implique que le taux augmentera également sans limite.

$$M \to \infty \quad \color{red}{\text{and} \quad Mp \to \lambda.}$$ $p$

Ce que la distribution de Poisson suppose, c'est que les événements sont rares . Ce que nous entendons par "rare" n'est pas que le taux d'événements est petit - en effet, un processus de Poisson peut avoir une très haute intensité mais plutôt, que la probabilité qu'un événement se produise à tout instant dans le temps [ t , t + d t ) est extrêmement petit. Ceci contraste avec un modèle binomial où la probabilité p d'un événement (par exemple "succès") est fixée pour un essai donné.$\lambda$$[t, t + dt)$$p$

Pour illustrer, supposons que nous modélisons une série de essais de Bernoulli indépendants avec chacun une probabilité de succès p , et nous regardons ce qui arrive à la distribution du nombre de succès X comme M → ∞ . Pour tout N aussi grand que nous le souhaitons, et peu importe la taille de p , le nombre de succès escomptés E [ X ] = M p > N pour M > N /$M$$p$$X$$M \to \infty$$N$$p$$\operatorname{E}[X] = Mp > N$$M > N/p$. En d'autres termes, quelle que soit la probabilité de réussite, vous pouvez éventuellement obtenir un nombre moyen de succès aussi important que vous le souhaitez si vous effectuez suffisamment d'essais. Ainsi, (ou, simplement dire « M est grand ») ne suffit pas pour justifier un modèle de Poisson X .$M \to \infty$$M$$X$

Il n'est pas difficile d'établir algébriquement comme cas limite de Pr [ X = x ] = (

$$\Pr[X = x] = e^{-\lambda} \frac{\lambda^x}{x!}, \quad x = 0, 1, 2, \ldots$$ en posant p = λ / M et en laissant M → ∞ . D'autres réponses ont abordé l'intuition derrière cette relation et fourni également des conseils de calcul. Mais il est important que p = λ / M . Vous ne pouvez pas ignorer cela. $$\Pr[X = x] = \binom{M}{x} p^x (1-p)^{M-x}, \quad x = 0, 1, 2, \ldots, M$$ $p = \lambda/M$$M \to \infty$$p = \lambda/M$

Je ne peux qu'essayer une réponse partielle et il s'agit de l'intuition de la question 2, pas d'une preuve rigoureuse.

The binomial coefficient gives you the number of samples of size $N$, from $M$, without replacement and without order.

Here though $M$ becomes so large that you may approximate the scenario as sampling with replacement in which case you get $M^N$ ordered samples. If you don't care about the order of the $N$ objects chosen this reduces to $M^N/N!$ because those $N$ objects can be ordered in $N!$ ways.

I think this is the best example that intuitively explains how binomial distribution converges to normal with large number of balls. Here, each ball has equal probability of falling on either side of the peg in each layer and all the balls have to face same number of pegs. It can be easily seen that as the number of balls goes very high the distribution of balls in different sections will be like normal distribution.

My answer to your question 2 is same as the answer given by Lukasz.