Vous observez k têtes sur n lancers. La pièce est-elle juste?

On m'a posé cette question avec dans une interview. Y a-t-il une réponse «correcte»? $(n, k) = (400, 220)$

Supposons que les lancers soient iid et que la probabilité des têtes soit . La distribution du nombre de têtes en 400 lancers devrait alors être proche de la normale (200, 10 ^ 2), de sorte que 220 têtes soit à 2 écarts-types de la moyenne. La probabilité d'observer un tel résultat (c'est-à-dire plus de 2 écart-type par rapport à la moyenne dans les deux sens) est légèrement inférieure à 5%. $p=0.5$

L'enquêteur m'a dit, essentiellement, "si j'observe quelque chose> = 2 écart-type à partir de la moyenne, je conclus qu'il se passe autre chose. Je parierais que la pièce est juste." C'est raisonnable - après tout, c'est ce que font la plupart des tests d'hypothèse. Mais est-ce la fin de l'histoire? Pour l'intervieweur, cela semblait être la «bonne» réponse. Ce que je demande ici, c'est si une nuance est justifiée.

Je n'ai pas pu m'empêcher de souligner que décider que la pièce n'est pas juste est une conclusion bizarre dans ce contexte de lancer de pièces. Ai-je raison de dire cela? Je vais essayer d'expliquer ci-dessous.

Tout d'abord, j'ai - et je suppose que la plupart des gens aussi - ont une forte priorité sur les pièces: elles sont très susceptibles d'être justes. Bien sûr, cela dépend de ce que nous entendons par juste - une possibilité serait de définir «juste» comme «ayant une probabilité de têtes« proches »de 0,5, disons entre 0,49 et 0,51».

(Vous pouvez également définir « juste » comme signifiant que la probabilité de tête est exactement 0,50, auquel cas ayant une pièce parfaitement juste semble maintenant plutôt un probable.)

Votre prieur pourrait dépendre non seulement de vos croyances générales sur les pièces mais aussi du contexte. Si vous sortez la pièce de votre poche, vous pouvez être pratiquement certain qu'elle est juste; si votre ami magicien l'a sorti du sien, votre prieur pourrait mettre plus de poids sur les pièces à deux têtes.

Dans tous les cas, il est facile de trouver des priors raisonnables qui (i) mettent une grande probabilité sur la pièce juste et (ii) conduisent votre postérieur à être assez similaire, même après avoir observé 220 têtes. Vous concluriez alors que la pièce était très probablement juste, malgré l'observation d'un résultat 2 SDs de la moyenne.

En fait, vous pouvez également construire des exemples où l'observation de 220 têtes en 400 lancers fait que votre postérieur donne plus de poids à la pièce étant juste, par exemple si toutes les pièces déloyales ont une probabilité de têtes en . $\{0, 1\}$

Quelqu'un peut-il faire la lumière sur ce pour moi?

Après avoir écrit cette question, je me suis souvenu que j'avais déjà entendu parler de cette situation générale - n'est-ce pas le «paradoxe» de Lindley ?

Whuber a mis un lien très intéressant dans les commentaires: vous pouvez charger un dé, mais vous ne pouvez pas biaiser une pièce . De la page 3:

Cela n'a pas de sens de dire que la pièce a une probabilité p de têtes, car elle peut être complètement déterminée par la manière dont elle est lancée - à moins qu'elle ne soit lancée haut dans les airs avec un tour rapide et attrapée en l'air avec pas de rebond, auquel cas p = 1/2.

Plutôt cool! Cela rejoint ma question d'une manière intéressante: supposons que nous sachions que la pièce est "lancée haut dans les airs avec un tour rapide et prise dans les airs sans rebondir". Ensuite, nous ne devons certainement pas rejeter l'hypothèse selon laquelle la pièce est juste (où "juste" signifie maintenant "avoir p = 1/2 lorsqu'elle est lancée de la manière décrite ci-dessus"), car nous avons effectivement un a priori qui met toute probabilité sur la pièce étant juste. Peut-être que cela justifie dans une certaine mesure pourquoi je suis mal à l'aise de rejeter le nul après avoir observé 220 têtes.

— Adrian
source

Une partie de votre question changerait-elle si vous interprétiez la «pièce» comme une métaphore d'un processus binaire dont vous n'aviez aucune connaissance préalable?

— whuber

@whuber C'est une bonne question. Je pense que dans ce cas, je serais beaucoup plus disposé à aller avec "rejeter quand p <= 0,05", bien que je ne sois pas tout à fait sûr de savoir comment me justifier cela.

— Adrian

Un autre problème qui me dérange est que la personne qui posait la question était intéressée par l'hypothèse que p = 0,50 exactement. Mais si vous pensez que p est distribué en continu, cela aura une probabilité nulle, indépendamment de ce que vous observez. Il me semble beaucoup plus significatif de faire des déclarations sur p appartenant à un certain intervalle. Ce serait un problème dans la situation où je n'avais aucune connaissance préalable et j'ai décidé d'utiliser un uniforme avant, par exemple.

— Adrian

Ca a du sens. La question centrée sur les pièces de monnaie est un peu distrayante, cependant, car les réponses à ces questions impliquent généralement des discussions sur la physique (et le tour de passe-passe) du retournement de pièces. Vous pourriez être choqué de voir à quel point la situation réelle peut être contraire à vos aînés forts, selon la façon dont la pièce est retournée. "Cela n'a pas de sens de dire que la pièce a une probabilité de têtes"

p

$p$ .

— whuber

@Adrian DJC MacKay discute de ce problème exact (avec n = 250, k = 140) dans son manuel gratuit à ce lien: inference.phy.cam.ac.uk/itprnn/book.pdf (p63.) Il pourrait être intéressant de lisez ce qu'il dit. Il arrive à une conclusion similaire pour vous.

— Flounderer

Réponses:

La manière bayésienne standard de résoudre ce problème (sans approximations normales) consiste à énoncer explicitement votre précédent, à le combiner avec votre probabilité, qui est distribuée en bêta. Intégrez ensuite votre postérieur à environ 50%, disons deux écarts-types ou de 49% à 51% ou ce que vous voulez.

Si votre croyance antérieure est continue sur [0,1] - par exemple Beta (100,100) (celui-ci met beaucoup de masse sur des pièces à peu près équitables) - alors la probabilité que la pièce soit juste est nulle puisque la probabilité est également continue [0 , 1].

Même si la probabilité que la pièce soit juste est nulle, vous pouvez généralement répondre à la question à laquelle vous alliez répondre avec le postérieur sur le biais. Par exemple, quel est l'avantage du casino étant donné la distribution postérieure sur les probabilités de pièces.

— Neil G
source

+1, mais je voudrais compléter un peu cette réponse. Supposons que nous définissions une pièce équitable comme étant comme le suggère l'OP, et nous souhaitons placer de notre probabilité antérieure sur ce cas. Alors un a priori raisonnable est , de sorte queÉtant donné les données de la question, la distribution postérieure devient et la probabilité postérieure d'une pièce équitable est toujours très grande:

0.49 < p < 0.51

$0.49 < p < 0.51$

99 %

$99\%$

p \sim Beta (8300, 8300)

$p \sim \text{Beta}(8300, 8300)$

P (p \in (0.49, 0.51)) = 0.99003.

$P(p \in (0.49, 0.51)) = 0.99003.$

p | data \sim Beta (8300 + 220, 8300 + 180)

$p|\text{data} \sim \text{Beta}(8300+220, 8300+180)$

P (p \in (0.49, 0.51) | data) = 0.9886.

$P(p \in (0.49, 0.51)|\text{data}) = 0.9886.$

— knrumsey

Disons pour la distribution Bernoulli, dans ce cas le tirage au sort.

Il s'agit clairement d'une distribution binomiale , et elle est en effet proche de . $B(n=400,p=0.5)$ $N(\mu=200,\sigma^2=100)$

De toute évidence, l'intervieweur demande le résultat de avec un intervalle de confiance à avec , ou la valeur de . $k$ $95\%$ $B(n=400,p=0.5)$ $p$ $B(n=400,p=0.5,k=220)$

Dans l'approche bayésienne, votre a priori est que au lieu de et $p=0.5$ $\pi(p=0.5)=0.5$ $\pi(p\neq0.5)=0.5$

Utilisons un autre plus juste avant que et . Nous supposons que a une distribution uniforme dans chaque intervalle. $\pi(0.49\leq p\leq0.51)=0.9$ $\pi(p<0.49 \cup p>0.51)=0.1$ $p$

On peut alors calculer le postérieur . $P(0.49\leq p\leq0.51|k=220)$

Ou très probablement l'a priori est une distribution normale ~ , ou nous pouvons supposer une variance beaucoup plus petite telle que . $p$ $N(\mu=0.5,\sigma^2=0.25)$ $\sigma^2=0.1$

Ensuite, nous calculons la distribution postérieure de comme . $p$ $f(p|k=220)$

Ma réputation ne me suffit pas pour écrire un commentaire sous la question. Au lieu de cela, je vais écrire quelque chose ici concernant You Can't Bias a Coin . @Adrian

Voici ce que nous avons

Le résultat de l'expérience $B(n=400,k=220,p=\theta)$
L'étude théorique et expérimentale You Can't Bias a Coin

Voici notre hypothèse

$H_0:$ La pièce est juste, ou $\hat\theta=0.5$

$H_1$ : les données du test sont enregistrées de manière incorrecte

Voici notre résultat

Sur la base du document Vous pouvez charger un dé, mais vous ne pouvez pas biaiser une pièce , nous acceptons l'hypothèse . $H_0$
Sur la base du résultat de l'expérience selon lequel la différence est deux fois l'écart-type, nous avons approximativement un niveau de confiance de 95% pour accepter l'hypothèse , selon laquelle l'étude expérimentale est incorrectement enregistrée. $H_1$

Étant donné que la valeur de pour le test d'hypothèse pour rejeter ou est à peu près inférieure à 5%, nous devons les accepter tous les deux. Ou nous devons les rejeter tous les deux. $p$ $H_0$ $H_1$

Sinon, nous créons ici un double standard pour les tests d'hypothèses. Nous ne pouvons accepter l'hypothèse selon laquelle le tirage au sort est juste et les données de l'expérience sont correctement enregistrées .

Cela n'a pas de sens de dire que la pièce a une probabilité p de têtes

Nous avons des résultats d'expérience pour étayer cette hypothèse.

Si l'expérience est répétée n fois, est-il possible que nous ayons l'a priori de pour le tirage au sort comme lorsque n est considérablement grand? $p$ $N(\mu=0.5,\sigma^2)$

Si cela est acceptable, nous pouvons alors estimer les avec un IC à 95% basé sur la méthode du maximum de vraisemblance. $\sigma^s$

— Zhang Tschao
source

Merci Zhang. Une toute petite: si vous vouliez utiliser la distribution normale pour votre a priori sur la probabilité des têtes, je dirais que vous devriez la tronquer pour que p se trouve dans [0, 1].

— Adrian

Bien sûr, il existe de nombreuses distributions a priori raisonnables et des postérieurs correspondants. Le vrai point de ma question est plus général: décider que la pièce n'est pas juste me semble être une conclusion bizarre dans ce contexte de lancer de pièces. Que pensez-vous de cela - et pourquoi?

— Adrian

Un avant pratique ici serait la distribution bêta, car elle est conjuguée à la vraisemblance binomiale. Mais encore une fois, la véritable orientation de ma question est plus générale que la précédente spécifique.

— Adrian

Je pense que la raison en est que vous donnez trop de probabilité à l'avant spécifique . Je pense que si vous changez l'a priori, à savoir une distribution simplement uniforme , et que nous construisons un intervalle de confiance à 95% pour , je pense que nous trouvera le résultat très convaincant, ne se situant pas dans l'IC à 95% de . Et nous acceptons facilement l'hypothèse que la pièce n'est pas juste. Surtout dans ce cas, vous ne trouverez pas que décider de la pièce n'est pas juste d'être une conclusion bizarre.

π (p = 0.5)

$\pi(p=0.5)$

p \sim U (0, 1)

$p \sim U(0,1)$

E (p) \sim f (p | k = 220)

$E(p) \sim f(p|k=220)$

p = 0.5

$p=0.5$

E (p)

$E(p)$

— Zhang Tschao

@ user777 La distribution normale apparaît deux fois dans la réponse de Zhang, d'abord comme approximation du binôme (grand), et ensuite comme a priori pour la probabilité des têtes (quand il dit "le a priori est une distribution normale p ~ N"). Zhang - votre montage sur le Null étant "la pièce est juste et les données ont été correctement enregistrées" est intéressante, merci de l'avoir publiée.

— Adrian