Intervalle de prédiction pour la variable aléatoire binomiale

Quelle est la formule (approximative ou exacte) d'un intervalle de prédiction pour une variable aléatoire binomiale?

Supposons que , et nous observons (tiré de ). Le est connu.$Y \sim \mathsf{Binom}(n, p)$$y$$Y$$n$

Notre objectif est d'obtenir un intervalle de prédiction à 95% pour un nouveau tirage de .$Y$

L'estimation ponctuelle est , où \ chapeau {p} = \ frac {y} {n} . Un intervalle de confiance pour \ hat {p} est simple, mais je ne peux pas trouver une formule pour un intervalle de prédiction pour Y . Si nous connaissions p (plutôt que \ hat {p} ), alors un intervalle de prédiction à 95% implique simplement de trouver les quantiles d'un binôme. Y a-t-il quelque chose d'évident que j'oublie?p = $n\hat{p}$p Yp$\hat{p}=\frac{y}{n}$$\hat{p}$$Y$$p$$\hat{p}$

Ok, essayons ça. Je donnerai deux réponses - celle bayésienne, qui est à mon avis simple et naturelle, et l'une des possibles fréquentistes.

Solution bayésienne

Nous supposons un Beta prior sur , i, e., , car le modèle Beta-Binomial est conjugué, ce qui signifie que la distribution postérieure est également une distribution Beta avec les paramètres , (j'utilise pour dénoter le nombre de succès dans essais, au lieu de ). Ainsi, l'inférence est grandement simplifiée. Maintenant, si vous avez des connaissances préalables sur les valeurs probables de , vous pouvez l'utiliser pour définir les valeurs de et , c'est-à-dire pour définir votre préalable Beta, sinon vous pourriez supposer un préalable uniforme (non informatif), avecp ~ B e t un ( α , β ) α = α + k , β = β + n - k k n y p α β α = β = $p$$p \sim Beta(\alpha,\beta)$$\hat{\alpha}=\alpha+k,\hat{\beta}=\beta+n-k$$k$$n$$y$$p$$\alpha$$\beta$$\alpha=\beta=1$, ou d'autres priors non informatifs (voir par exemple ici ). En tout cas, votre postérieur est

$Pr(p|n,k)=Beta(\alpha+k,\beta+n-k)$

Dans l'inférence bayésienne, tout ce qui compte est la probabilité postérieure, ce qui signifie qu'une fois que vous le savez, vous pouvez faire des inférences pour toutes les autres quantités de votre modèle. Vous voulez faire une inférence sur les observables : en particulier, sur un vecteur de nouveaux résultats , où n'est pas nécessairement égal à . Plus précisément, pour chaque , nous voulons calculer la probabilité d'avoir exactement succès dans les prochains essais, étant donné que nous avons obtenu succès dans les essais précédents ; la fonction de masse prédictive postérieure:y = y 1 , … , y m m n j = 0 , … , m j m k $y$$\mathbf{y}=y_1,\dots,y_m$$m$$n$$j=0,\dots,m$$j$$m$$k$$n$

$Pr(j|m,y)=Pr(j|m,n,k)=\int_0^1 Pr(j,p|m,n,k)dp = \int_0^1 Pr(j|p,m,n,k)Pr(p|n,k)dp$

Cependant, notre modèle binomial pour signifie que, conditionnellement à ayant une certaine valeur, la probabilité d'avoir succès dans essais ne dépend pas des résultats passés: c'est simplementp j $Y$$p$$j$$m$

$f(j|m,p)=\binom{j}{m} p^j(1-p)^j$

Ainsi, l'expression devient

$Pr(j|m,n,k)=\int_0^1 \binom{j}{m} p^j(1-p)^j Pr(p|n,k)dp=\int_0^1 \binom{j}{m} p^j(1-p)^j Beta(\alpha+k,\beta+n-k)dp$

Le résultat de cette intégrale est une distribution bien connue appelée la distribution bêta-binomiale: en sautant les passages, nous obtenons l'expression horrible

$Pr(j|m,n,k)=\frac{m!}{j!(m-j)!}\frac{\Gamma(\alpha+\beta+n)}{\Gamma(\alpha+k)\Gamma(\beta+n-k)}\frac{\Gamma(\alpha+k+j)\Gamma(\beta+n+m-k-j)}{\Gamma(\alpha+\beta+n+m)}$

Notre estimation ponctuelle pour , étant donné la perte quadratique, est bien sûr la moyenne de cette distribution, c.-à-d.$j$

$\mu=\frac{m(\alpha+k)}{(\alpha+\beta+n)}$

Maintenant, recherchons un intervalle de prédiction. Comme il s'agit d'une distribution discrète, nous n'avons pas d'expression de forme fermée pour , telle que . La raison en est que, selon la façon dont vous définissez un quantile, pour une distribution discrète, la fonction quantile n'est pas une fonction ou est une fonction discontinue. Mais ce n'est pas un gros problème: pour les petits , vous pouvez simplement écrire les probabilités et d'ici trouver tel que$[j_1,j_2]$$Pr(j_1\leq j \leq j_2)= 0.95$$m$$m$$Pr(j=0|m,n,k),Pr(j\leq 1|m,n,k),\dots,Pr(j \leq m-1|m,n,k)$$j_1,j_2$

$Pr(j_1\leq j \leq j_2)=Pr(j\leq j_2|m,n,k)-Pr(j < j_1|m,n,k)\geq 0.95$

Bien sûr, vous trouveriez plus d'un couple, vous devriez donc idéalement rechercher le plus petit sorte que ce qui précède soit satisfait. Notez que$[j_1,j_2]$

$Pr(j=0|m,n,k)=p_0,Pr(j\leq 1|m,n,k)=p_1,\dots,Pr(j \leq m-1|m,n,k)=p_{m-1}$

ne sont que les valeurs de la fonction CMF (fonction de masse cumulée) de la distribution bêta-binomiale, et en tant que telle, il existe une expression de forme fermée , mais c'est en termes de fonction hypergéométrique généralisée et donc assez compliquée. Je préfère simplement installer le package R extraDistret appeler pbbinompour calculer le CMF de la distribution bêta-binomiale. Plus précisément, si vous voulez calculer toutes les probabilités en une seule fois, écrivez simplement:$p_0,\dots,p_{m-1}$

library(extraDistr)  
jvec <- seq(0, m-1, by = 1) 
probs <- pbbinom(jvec, m, alpha = alpha + k, beta = beta + n - k)

où alphaet betasont les valeurs des paramètres de votre a priori bêta, c'est-à-dire et (donc 1 si vous utilisez un a priori uniforme sur ). Bien sûr, tout serait beaucoup plus simple si R fournissait une fonction quantile pour la distribution bêta-binomiale, mais malheureusement ce n'est pas le cas.$\alpha$$\beta$$p$

Exemple pratique avec la solution bayésienne

Soit , (ainsi nous avons initialement observé 70 succès dans 100 essais). Nous voulons une estimation ponctuelle et un intervalle de prédiction à 95% pour le nombre de succès dans les prochains essais . alors$n=100$$k=70$$j$$m=20$

n <- 100
k <- 70
m <- 20
alpha <- 1
beta  <- 1

où j'ai supposé un a priori uniforme sur : selon les connaissances préalables pour votre application spécifique, cela peut ou non être un bon a priori. Donc$p$

bayesian_point_estimate <- m * (alpha + k)/(alpha + beta + n) #13.92157

De toute évidence, une estimation non entière pour n'a pas de sens, donc nous pourrions simplement arrondir à l'entier le plus proche (14). Ensuite, pour l'intervalle de prédiction:$j$

jvec <- seq(0, m-1, by = 1)
library(extraDistr)
probabilities <- pbbinom(jvec, m, alpha = alpha + k, beta = beta + n - k)

Les probabilités sont

> probabilities
 [1] 1.335244e-09 3.925617e-08 5.686014e-07 5.398876e-06
 [5] 3.772061e-05 2.063557e-04 9.183707e-04 3.410423e-03
 [9] 1.075618e-02 2.917888e-02 6.872028e-02 1.415124e-01
[13] 2.563000e-01 4.105894e-01 5.857286e-01 7.511380e-01
[17] 8.781487e-01 9.546188e-01 9.886056e-01 9.985556e-01

Pour un intervalle de probabilités égales, nous voulons que le plus petit tel que et le plus grand tel que . De cette façon, nous aurons$j_2$$Pr(j\leq j_2|m,n,k)\ge 0.975$$j_1$$Pr(j < j_1|m,n,k)=Pr(j \le j_1-1|m,n,k)\le 0.025$

$Pr(j_1\leq j \leq j_2|m,n,k)=Pr(j\leq j_2|m,n,k)-Pr(j < j_1|m,n,k)\ge 0.975-0.025=0.95$

Ainsi, en regardant les probabilités ci-dessus, nous voyons que et . La probabilité de cet intervalle de prédiction bayésien est de 0,9778494, ce qui est supérieur à 0,95. Nous pourrions trouver des intervalles plus courts tels que , mais dans ce cas, au moins une des deux inégalités pour les probabilités de queue ne serait pas satisfaite.$j_2=18$$j_1=9$$Pr(j_1\leq j \leq j_2|m,n,k)\ge 0.95$

Solution Frequentist

Je suivrai le traitement de Krishnamoorthy et Peng, 2011 . Soit et distribués indépendamment de façon binominale. Nous voulons un intervalle de prédiction pour , basée sur une observation de . En d'autres termes, nous recherchons tels que:$Y\sim Binom(m,p)$$X\sim Binom(n,p)$$1-2\alpha-$$Y$$X$$I=[L(X;n,m,\alpha),U(X;n,m,\alpha)]$

$Pr_{X,Y}(Y\in I)=Pr_{X,Y}(L(X;n,m,\alpha)\leq Y\leq U(X;n,m,\alpha)]\geq 1-2\alpha$

Le " " est dû au fait que nous avons affaire à une variable aléatoire discrète, et donc nous ne pouvons pas nous attendre à obtenir une couverture exacte ... mais nous pouvons chercher un intervalle qui a toujours au moins le couverture nominale, donc un intervalle conservateur. Maintenant, il peut être prouvé que la distribution conditionnelle de étant donné est hypergéométrique avec la taille de l'échantillon , le nombre de succès dans la population et la taille de la population . Ainsi, le pmf conditionnel est$\geq 1-2\alpha$$X$$X+Y=k+j=s$$s$$n$$n+m$

$Pr(X=k|X+Y=s,n,n+m)=\frac{\binom{n}{k}\binom{m}{s-k}}{\binom{m+n}{s}}$

Le CDF conditionnel de étant donné est donc$X$$X+Y=s$

$Pr(X\leq k|s,n,n+m)=H(k;s,n,n+m)=\sum_{i=0}^k\frac{\binom{n}{i}\binom{m}{s-i}}{\binom{m+n}{s}}$

La première grande chose à propos de ce CDF est qu'il ne dépend pas de , que nous ne connaissons pas. La deuxième grande chose est qu'elle permet de trouver facilement notre PI: en fait, si nous avons observé une valeur de X, alors la limite de prédiction inférieure est le plus petit entier tel que$p$$k$$1-\alpha$$L$

$Pr(X\geq k|k+L,n,n+m)=1-H(k-1;k+L,n,n+m)>\alpha$

en conséquence, la limite supérieure de prédiction est le plus grand entier tel que$1-\alpha$

$Pr(X\leq k|k+U,n,n+m)=H(k;k+U,n,n+m)>\alpha$

Ainsi, est un intervalle de prédiction pour de couverture d'au moins . Notez que lorsque est proche de 0 ou 1, cet intervalle est conservateur même pour les grands , , c'est-à-dire que sa couverture est bien plus grande que .$[L,U]$$Y$$1-2\alpha$$p$$n$$m$$1-2\alpha$

Exemple pratique avec la solution Frequentist

Même réglage que précédemment, mais nous n'avons pas besoin de spécifier et (il n'y a pas de priors dans le framework Frequentist):$\alpha$$\beta$

n <- 100
k <- 70
m <- 20

L'estimation ponctuelle est maintenant obtenue en utilisant l'estimation MLE pour la probabilité de succès, , ce qui conduit à son tour à l'estimation suivante du nombre de succès dans essais:$\hat{p}=\frac{k}{n}$$m$

frequentist_point_estimate <- m * k/n #14

Pour l'intervalle de prédiction, la procédure est un peu différente. Nous recherchons le plus grand tel que , calculons donc l'expression ci-dessus pour tout dans :$U$$Pr(X\leq k|k+U,n,n+m)=H(k;k+U,n,n+m)>\alpha$$U$$[0,m]$

jvec <- seq(0, m, by = 1)
probabilities <- phyper(k,n,m,k+jvec)

Nous pouvons voir que le plus grand tel que la probabilité est encore supérieure à 0,025 est$U$

jvec[which.min(probabilities > 0.025) - 1] # 18

Identique à l'approche bayésienne. La borne de prédiction inférieure est le plus petit entier tel que , Donc$L$$Pr(X\geq k|k+L,n,n+m)=1-H(k-1;k+L,n,n+m)>\alpha$

probabilities <- 1-phyper(k-1,n,m,k+jvec)
jvec[which.max(probabilities > 0.025) - 1] # 8

Ainsi, notre intervalle de prédiction "exact" fréquentiste est .$[L,U]=[8,18]$