Passer de la modélisation d'un processus à l'aide d'une distribution de Poisson pour utiliser une distribution binomiale négative?

$\newcommand{\P}{\mathbb{P}}$ Nous avons un processus aléatoire qui peut ou mai ne pas se produire plusieurs fois dans une période de temps définie . Nous avons un flux de données à partir d'un modèle préexistant de ce processus, qui fournit la probabilité qu'un certain nombre d'événements se produisent dans la période . Ce modèle existant est ancien et nous devons effectuer des vérifications en direct sur les données d'alimentation pour les erreurs d'estimation. L'ancien modèle produisant le flux de données (qui fournit la probabilité que événements se produisent dans le restant ) est approximativement distribué par Poisson.$T$$0 \leq t < T$$n$$t$

Donc, pour vérifier les anomalies / erreurs, nous laissons $t$ le temps restant et $X_t$ le nombre total d'événements à se produire dans le temps restant $t$ . L'ancien modèle implique les estimations $\P(X_t \leq c)$ . Donc, selon notre hypothèse $X_t\sim \operatorname{Poisson}(\lambda_{t})$ nous avons:

$$\P(X_t \leq c) = e^{-\lambda}\sum_{k=0}^c\frac{\lambda_t^k}{k!}\,.$$ Pour dériver notre taux d'événements $\lambda_t$ de la sortie de l'ancien modèle (observations $y_{t}$ ), nous utilisons une approche de l'espace d'états et modélisons la relation d'état comme: $$y_t = \lambda_t + \varepsilon_t\quad (\varepsilon_t \sim N(0, H_t))\,.$$ Nous filtrons les observations de l'ancien modèle, en utilisant un modèle d'espace d'état [décroissance à vitesse constante] pour l'évolution du $\lambda_t$ afin d'obtenir l'état filtré $E(\lambda_t|Y_t)$ et signalons une anomalie / erreur dans la fréquence d'événements estimée à partir de les données d'alimentation si $E(\lambda_t|Y_t) < y_t$ .

Cette approche fonctionne parfaitement bien pour détecter les erreurs dans le nombre d'événements estimés sur la période T complète $T$, mais pas si bien si nous voulons faire de même pour une autre période $0 \leq t < \sigma$ où $\sigma < \frac{2}{3} T$ . Pour contourner cela, nous avons décidé que nous voulons maintenant passer à l'utilisation de la distribution binomiale négative afin que nous supposions maintenant X_t \ sim NB (r, p)$X_t\sim NB(r, p)$ et nous avons:

$$\P(X_{t} \leq c) = p^{r}\sum_{k = 0}^c (1 - p)^{k}\binom{k + r -1}{r - 1},$$ où le paramètre $\lambda$ est maintenant remplacé par $r$ et $p$. Cela devrait être simple à mettre en œuvre, mais j'ai des difficultés d'interprétation et j'ai donc quelques questions que j'aimerais que vous aidiez:

1. Pouvons-nous simplement mettre $p = \lambda$ dans la distribution binomiale négative? Sinon, pourquoi pas?

2. En supposant que nous pouvons définir $p = f(\lambda)$ où $f$ est une fonction, comment pouvons-nous correctement définir $r$ (devons-nous ajuster $r$ utilisant les anciens ensembles de données)?

3. Est-ce que $r$ dépend du nombre d'événements que nous prévoyons de se produire au cours d'un processus donné?

---

Addendum à l'extraction des estimations pour $r$ (et $p$ ):

Je sais que si nous avions en fait inversé ce problème et que nous avions le nombre d'événements pour chaque processus, nous pourrions adopter l'estimateur du maximum de vraisemblance pour et . Bien sûr, l'estimateur du maximum de vraisemblance n'existe que pour les échantillons pour lesquels la variance de l'échantillon est supérieure à la moyenne de l'échantillon, mais si tel était le cas, nous pourrions définir la fonction de vraisemblance pour observations indépendantes identiquement distribuées as: partir duquel nous pouvons écrire la fonction log-vraisemblance comme: p N k 1 , k 2 , … , k N L ( r , p ) = N ∏ i = 1 P ( k i ; r , p ) , l ( r , p ) = N ∑ i = 1 ln ( Γ ( k i + r ) ) - N ∑$r$$p$$N$$k_1, k_2, \ldots, k_{N}$

$$L(r, p) = \prod_{i = 1}^{N}\P(k_i; r, p),$$ $$l(r, p) = \sum_{i = 1}^{N} \ln(\Gamma(k_i + r)) - \sum_{i = 1}^{N} \ln(k_{i}!) - N\ln(\Gamma(r)) + \sum_{i = 1}^{N} k_i \ln(p) + N r\ln(1 - p).$$ Pour trouver le maximum, nous prenons les dérivées partielles par rapport à et et les mettons égales à zéro: Réglage et réglage on trouve: $r$$p$ $$\begin{align*} \partial_{r} l(r, p) &= \sum_{i = 1}^{N} \psi(k_i + r) - N\psi(r) + N\ln(1 - p), \\ \partial_{p} l(r, p) &= \sum_{i = 1}^{N} k_i\frac{1}{p} - N r \frac{1}{1 - p} \enspace . \end{align*}$$ $\partial_{r} l(r, p) = \partial_{p} l(r, p) = 0$$p = \displaystyle\sum_{i = 1}^{N} \displaystyle\frac{k_i} {(N r + \sum_{i = 1}^{N} k_i)},$ $$\partial_{r} l(r, p) = \sum_{i = 1}^{N} \psi(k_i + r) - N \psi(r) + N\ln\left(\frac{r}{r + \sum_{i = 1}^{N} \frac{k_i}{N}}\right) = 0.$$ Cette équation ne peut pas être résolue pour r sous forme fermée en utilisant Newton ou même EM. Cependant, ce n'est pas le cas dans cette situation. Bien que nous puissions utiliser les données passées pour obtenir un et un statiques , ce n'est pas vraiment une utilité comme pour notre processus, nous devons adapter ces paramètres dans le temps, comme nous l'avons fait avec Poisson. $r$$p$

La distribution binomiale négative est très similaire au modèle de probabilité binomiale. il est applicable lorsque les hypothèses (conditions) suivantes sont valables 1) Toute expérience est réalisée dans les mêmes conditions jusqu'à ce qu'un nombre fixe de succès, disons C, soit atteint 2) Le résultat de chaque expérience peut être classé dans l'une des deux catégories , succès ou échec 3) La probabilité P de succès est la même pour chaque expérience 40 Chaque expérience est indépendante de toutes les autres. La première condition est le seul facteur de différenciation clé entre binôme et binôme négatif

La distribution de poisson peut être une approximation raisonnable du binôme dans certaines conditions comme 1) La probabilité de succès pour chaque essai est très faible. P -> 0 2) np = m (disons) est finete La règle la plus souvent utilisée par les statisticiens est que le poisson est une bonne approximation du binôme lorsque n est égal ou supérieur à 20 et p est égal ou inférieur à 5 %