Comparaison de 0/10 à 0/20

En discutant des taux de réalisation des tâches, existe-t-il un moyen de montrer que 0 tentative sur 20 est "pire" que 0 tentative sur 10?

Supposons que nous connaissions la probabilité de réussite d'une tentative. Dans ce cas, nous calculons la probabilité de 0 cas sur 10 et 0 cas sur 20.

Cependant, dans ce cas, nous allons dans l'autre sens. Nous ne connaissons pas la probabilité, nous avons les données et nous essayons d'estimer la probabilité.

Plus nous avons de cas, plus nous pouvons être certains des résultats. Si je lance une pièce et que ce sera la tête, vous ne serez pas certain qu'elle soit à double tête. Si je le lance 1 000 fois et que ce sera toutes les têtes, il est peu probable qu'il soit équilibré.

Il existe des méthodes qui ont été conçues afin de prendre en compte le nombre de sentiers lors de l'estimation. L'un d'eux est le lissage additif que @abukaj commente ci-dessus. Dans le lissage additif, nous ajoutons des pseudo-échantillons supplémentaires en considération. Dans notre cas, à la place de la piste que nous avons vue, nous en ajoutons deux autres - un réussi et un échoué.

• Dans le premier cas, la probabilité lissée sera = ~ 8,3%$\frac{1+0}{10 +1 +1}$$\frac{1}{12}$
• Dans le deuxième cas, nous obtiendrons = ~ 4,5%$\frac{1+0}{20 +1 +1}$$\frac{1}{22}$

Notez que le lissage additif n'est qu'une méthode d'estimation. Vous obtiendrez des résultats différents avec différentes méthodes. Même avec le lissage additif lui-même, vous auriez obtenu des résultats différents si vous aviez ajouté 4 pseudo-échantillons.

Une autre méthode utilise l' intervalle de confiance comme l'a suggéré @mdewey. Plus nous avons d'échantillons, plus l'intervalle de confiance sera court. La taille de l'intervalle de confiance est proportionnelle à la racine carrée des échantillons - . Par conséquent, doubler le nombre d'échantillons entraînera un intervalle de confiance plus court.$\frac{1}{\sqrt{n}}$$\sqrt{2}$

La moyenne dans les deux cas est 0. On prend un niveau de confiance de 90% (z = 1.645)

• Dans le premier cas, nous obtiendrons 0 + ~ 52%$\frac{1.645}{\sqrt{10}}$
• Dans le deuxième cas, nous obtiendrons 0 + ~ 36%$\frac{1.645}{\sqrt{20}}$

En cas de données manquantes, il y a incertitude. Les hypothèses que vous faites et les données externes que vous utiliserez changeront ce que vous obtiendrez.

En élargissant l'idée d'invoquer des intervalles de confiance, il existe un concept d'intervalle binomial exact.

La distribution binomiale est celle du nombre total de succès dans des essais indépendants qui se terminent par 0 (échec) ou 1 (succès). La probabilité d'obtenir 1 (succès) est traditionnellement notée , et son complément est . Le résultat de probabilité standard est alors que la probabilité d'exactement succès dans essais estq = 1 - p k $p$$q=1-p$$k$$n$

$$p_{n,k} = {n \choose k} p^k q^{n-k} = \frac{n!}{k!(n-k)!} p^k q^{n-k}$$

Le concept de l'intervalle de confiance est de délimiter un ensemble de valeurs possibles des paramètres du modèle (ici, les probabilités de succès ) afin que nous puissions faire des déclarations probabilistes (enfin, fréquentistes ) sur la question de savoir si la vraie valeur du paramètre est à l'intérieur de cet intervalle (à savoir , que si nous répétons l'expérience probabiliste de faire 10 ou 20 essais, et construisons l'intervalle de confiance d'une manière spécifiée, nous observerons que la vraie valeur du paramètre est à l'intérieur de l'intervalle 95% du temps).$p$

Dans ce cas, nous pouvons résoudre pour dans cette formule: p n , 0 = ( 1 - p ) $p$

$$p_{n,0}=(1-p)^n$$

Donc, si nous voulions un intervalle unilatéral de 95%, nous pour résoudre la probabilité que le nombre de zéros observé soit au maximum de 5%. Pour , la réponse est (c'est-à-dire, à l'extrême, si la probabilité de succès dans chaque essai est de 13,9%, alors la probabilité d'observer zéro succès est de 5%). Pour , la réponse est . Donc, à partir d'un échantillon de , nous avons appris plus que de l'échantillon de , en ce sens que nous pouvons `` exclure '' la plage que l'échantillon de laisse toujours aussi plausible.$p_{n,0}=5\%$$n=20$$[0\%,13.9\%]$$n=10$$[0\%,25.9\%]$$n=20$$n=10$$[13.9\%,25.9\%]$$n=10$

Une approche bayésienne

• Soit pour une série de variables aléatoires IID Bernoulli de paramètre .$X_i$$i=1,\ldots n$$p$
• Représentons notre incertitude du paramètre en supposant qu'il suit la distribution bêta avec des hyperparamètres et .$p$ $\alpha$$\beta$

La fonction de vraisemblance est Bernoulli et la distribution bêta est un conjugué antérieur à la distribution de Bernoulli, donc le postérieur suit la distribution bêta. De plus, le postérieur est paramétré par:

$$\hat{\alpha} = \alpha + \sum_{i=1}^n X_i \quad \quad \hat{\beta} = \beta + n - \sum_{i=1}^n X_i$$

Par conséquent:

$$\begin{align*} \mathrm{E}[p \mid X_1, \ldots, X_n] &= \frac{\hat{\alpha}}{\hat{\alpha} + \hat{\beta}}\\ &= \frac{\alpha + \sum_{i=1}^n X_i }{\alpha + \beta + n} \end{align*}$$

Ainsi, si vous voyez 10 échecs, votre attente de est , et si vous voyez 20 échecs, votre attente de est . Plus vous voyez d'échecs, moins vous attendez de .$p$ p$\frac{\alpha}{\alpha + \beta + 10}$$p$$\frac{\alpha}{\alpha + \beta + 20}$$p$

Est-ce un argument raisonnable? Cela dépend de ce que vous pensez des statistiques bayésiennes, si vous êtes prêt à modéliser l'incertitude sur un paramètre utilisant la mécanique des probabilités. Et cela dépend de la façon dont votre choix d'un a priori est raisonnable.$p$