Exemples d’approches bayésienne et fréquentiste donnant des réponses différentes

Remarque: je suis conscient des différences philosophiques entre les statistiques bayésiennes et fréquentistes.

Par exemple, "quelle est la probabilité que la pièce de monnaie sur la table soit une tête" n'a pas de sens dans les statistiques fréquentistes, puisqu'elle a déjà atterri têtes ou têtes - il n'y a rien de probabiliste à ce sujet. Donc, la question n'a pas de réponse en termes fréquentistes.

Mais une telle différence n'est précisément pas le type de différence que je demande.

J'aimerais plutôt savoir en quoi leurs prédictions concernant des questions bien formées diffèrent réellement dans le monde réel, en excluant toute différence théorique / philosophique telle que l'exemple que j'ai mentionné ci-dessus.

Donc en d'autres termes:

Qu'est-ce qu'un exemple de question, répondant à la fois aux statistiques fréquentiste et bayésienne, dont la réponse est différente entre les deux?

(Par exemple, l'un d'eux répond "1/2" à une question particulière et l'autre répond "2/3".)

Existe-t-il de telles différences?

• Si oui, quels sont quelques exemples?

• Sinon, à quel moment cela peut-il réellement faire la différence si j'utilise des statistiques bayésiennes ou fréquentistes pour résoudre un problème particulier?
  Pourquoi devrais-je éviter l'un en faveur de l'autre?

Cet exemple est pris d' ici . (Je pense même que j'ai obtenu ce lien de SO, mais que je ne le trouve plus.)

Une pièce de monnaie a été lancée fois, remontant la tête fois. Si vous voulez le lancer deux fois plus, pariez-vous sur deux têtes? Supposons que vous ne voyez pas le résultat du premier lancer avant le deuxième lancer (et aussi indépendamment de ), de sorte que vous ne pouvez pas mettre à jour votre opinion sur entre les deux lancers.$n=14$$k=10$$\theta$$\theta$

Par indépendance, Ensuite, la distribution prédictive étant donnée un -prior, devient

$$f(y_{f,1}=\text{heads},y_{f,2}=\text{heads}|\theta)=f(y_{f,1}=\text{heads})f(y_{f,2}=\text{heads}|\theta)=\theta^2.$$ $\text{Beta}(\alpha_0,\beta_0)$ Beta(1,1)(dix/quatorze)2≈ $$\begin{eqnarray*} f(y_{f,1}=\text{heads},y_{f,2}=\text{heads}|y)&=&\int f(y_{f,1}=\text{heads},y_{f,2}=\text{heads}|\theta)\pi(\theta|y)d\theta\notag\\ &=&\frac{\Gamma\left(\alpha _{0}+\beta_{0}+n\right)}{\Gamma\left(\alpha_{0}+k\right)\Gamma\left(\beta_{0}+n-k\right)}\int \theta^2\theta ^{\alpha _{0}+k-1}\left( 1-\theta \right) ^{\beta _{0}+n-k-1}d\theta\notag\\ &=&\frac{\Gamma\left(\alpha_{0}+\beta_{0}+n\right)}{\Gamma\left(\alpha_{0}+k\right)\Gamma\left(\beta_{0}+n-k\right)}\frac{\Gamma\left(\alpha_{0}+k+2\right)\Gamma\left(\beta_{0}+n-k\right)}{\Gamma\left(\alpha_{0}+\beta_{0}+n+2\right)}\notag\\ &=&\frac{(\alpha_{0}+k)\cdot(\alpha_{0}+k+1)}{(\alpha_{0}+\beta_{0}+n)\cdot(\alpha_{0}+\beta_{0}+n+1)} \end{eqnarray*}$$ Pour un précédent uniforme ( un$\text{Beta}(1, 1)$-prior), cela donne environ .485. Par conséquent, vous ne parieriez probablement pas. Sur la base du MLE 10/14, vous calculeriez une probabilité de deux têtes de , de sorte que les paris auraient un sens.$(10/14)^2\approx.51$

Voir ma question ici , qui mentionne un article d’Edwin Jaynes qui donne un exemple d’intervalle de confiance fréquentiste correctement construit, où l’échantillon contient suffisamment d’informations pour savoir avec certitude que la véritable valeur de la statistique ne se trouve nulle part dans l’intervalle de confiance ( et donc l'intervalle de confiance est différent de l'intervalle crédible bayésien).

Cependant, la raison en est la différence entre la définition d’un intervalle de confiance et celle d’un intervalle crédible, conséquence directe de la différence entre les définitions de probabilité fréquentistes et bayésiennes. Si vous demandez à un bayésien de produire un intervalle de confiance bayésien (plutôt que crédible), je suspecte qu'il y aura toujours un précédent pour lequel les intervalles seront les mêmes, de sorte que les différences dépendent du choix du précédent.

Que les méthodes fréquentistes ou bayésiennes soient appropriées dépend de la question que vous souhaitez poser et, en fin de compte, ce sont les différences de philosophie qui déterminent la réponse (à condition que l'effort de calcul et d'analyse requis ne soit pas pris en compte).

On pourrait faire valoir qu’une fréquence à long terme est un moyen parfaitement raisonnable de déterminer la plausibilité relative d’une proposition. Dans ce cas, les statistiques fréquentistes constituent un sous-ensemble légèrement étrange du bayésianisme subjectif. un subjectiviste bayésien peut également répondre de la même manière, ou de toute autre manière s’ils choisissent des a priori différents. ; o)

Je crois que ce document donne une idée plus précise des compromis dans les applications réelles entre les deux. Cela peut être en partie dû à ma préférence pour les intervalles plutôt que pour les tests.

Gustafson, P. et Groenland, S. (2009). Estimation d'intervalle pour les données d'observation désordonnées . Science statistique 24: 328–342.

En ce qui concerne les intervalles, il peut être utile de garder à l’esprit que les intervalles de confiance fréquentistes exigent / exigent une couverture uniforme (exactement ou au moins supérieure à x% pour chaque valeur de paramètre qui n’a pas de probabilité zéro) et s’ils ne le font pas. ont cela - ils ne sont pas vraiment des intervalles de confiance. (Certains iraient plus loin et diraient qu'ils doivent également exclure les sous-ensembles pertinents qui modifient la couverture.)

On définit généralement la couverture bayésienne en ramenant celle-ci à "couverture moyenne", étant donné que les antécédents présumés s'avèrent tout à fait corrects. Gustafson et Greenland (2009) appellent ces a priori omnipotents et envisagent des faillibles pour fournir une meilleure évaluation.

Si quelqu'un pose une question qui a à la fois une réponse fréquentiste et bayésienne, je soupçonne que quelqu'un d'autre pourrait identifier une ambiguïté dans la question, la rendant ainsi non "bien formée".

En d'autres termes, si vous avez besoin d'une réponse fréquentiste, utilisez des méthodes fréquentistes. Si vous avez besoin d'une réponse bayésienne, utilisez des méthodes bayésiennes. Si vous ne savez pas de quoi vous avez besoin, vous n'avez peut-être pas défini la question sans ambiguïté.

Cependant, dans le monde réel, il existe souvent plusieurs façons différentes de définir un problème ou de poser une question. Parfois, on ne sait pas lequel de ces moyens est préférable. Ceci est particulièrement courant lorsque le client est statistiquement naïf. D'autres fois, il est beaucoup plus difficile de répondre à une question qu'à une autre. Dans ces cas, on choisit souvent le plus facile en essayant de s’assurer que ses clients sont exactement d’accord avec la question posée ou le problème qu’il résout.

Je recommande de regarder l'exercice 3.15 du manuel disponible gratuitement intitulé Algorithmes de théorie de l'information, d'inférence et d'apprentissage de MacKay.

Lorsqu'elle a été tournée 250 fois, une pièce belge d'un euro a été interprétée 140 fois et 110 fois. «Cela me semble très méfiant», a déclaré Barry Blight, conférencier en statistiques à la London School of Economics. "Si la pièce était impartiale, les chances d'obtenir un résultat aussi extrême que cela serait inférieur à 7%". Mais ces données prouvent-elles que la pièce est biaisée plutôt que juste?

L'exemple est détaillé dans les pages 63 à 64 du manuel. La conclusion est que la valeur est , mais l'approche bayésienne donne différents niveaux de soutien pour l'une ou l'autre hypothèse, en fonction de la priorité. Cela va d'une recommandation recommandée d'absence de preuve que la pièce de monnaie est biaisée (lorsqu'un précédent plat est utilisé) à une réponse de maximum contre l'hypothèse nulle d'impartialité, dans le cas où un précédent artificiel extrême est utilisé.0,07 6 : $p$$0.07$$6:1$