Existe-t-il des exemples où les intervalles crédibles bayésiens sont évidemment inférieurs aux intervalles de confiance fréquentistes

Une question récente sur la différence entre la confiance et les intervalles crédibles m'a amené à relire l'article d'Edwin Jaynes sur ce sujet:

Jaynes, ET, 1976. «Intervalles de confiance vs intervalles bayésiens», dans Fondements de la théorie de la probabilité, de l'inférence statistique et des théories statistiques de la science, WL Harper et CA Hooker (éd.), D. Reidel, Dordrecht, p. 175; ( pdf )

Dans l’abrégé, Jaynes écrit:

... nous présentons les solutions bayésiennes et orthodoxes à six problèmes statistiques courants impliquant des intervalles de confiance (y compris des tests de significativité basés sur le même raisonnement). Dans tous les cas, nous trouvons que la situation est exactement l'inverse, c'est-à-dire que la méthode bayésienne est plus facile à appliquer et donne les mêmes résultats, voire meilleurs. En effet, les résultats orthodoxes ne sont satisfaisants que lorsqu'ils concordent étroitement (ou exactement) avec les résultats bayésiens. Aucun exemple contraire n'a encore été produit.

(c'est moi qui souligne)

Le document a été publié en 1976, alors peut-être que les choses ont évolué. Ma question est la suivante: existe-t-il des exemples où l'intervalle de confiance fréquentiste est nettement supérieur à l'intervalle crédible bayésien (conformément au défi implicitement posé par Jaynes)?

Les exemples basés sur des hypothèses antérieures incorrectes ne sont pas acceptables car ils ne disent rien sur la cohérence interne des différentes approches.

J'ai dit plus tôt que j'essaierais de répondre à la question, alors voilà ...

Jaynes était un peu vilain dans son article en ce sens qu'un intervalle de confiance fréquentiste n'est pas défini comme un intervalle dans lequel on pourrait s'attendre à ce que la vraie valeur de la statistique se situe avec une probabilité élevée (spécifiée), il n'est donc pas surprenant que les contradictions se produisent si elles sont interprétées comme si elles étaient. Le problème, c’est que c’est souvent ainsi que les intervalles de confiance sont utilisés, puisqu’un intervalle très susceptible de contenir la valeur réelle (compte tenu de ce que nous pouvons déduire de notre échantillon de données) correspond à ce que nous recherchons souvent.

La question clé pour moi est que lorsqu'une question est posée, il est préférable d'avoir une réponse directe à cette question. Que les intervalles crédibles bayésiens soient pires que les intervalles de confiance fréquentistes dépend de la question qui a été posée. Si la question posée était:

(a) "Donnez-moi un intervalle où la vraie valeur de la statistique réside dans la probabilité p", il apparaît alors qu'un fréquentiste ne peut pas réellement répondre à cette question directement (et cela introduit le type de problèmes que Jaynes discute dans son article), mais un Bayesian peut, raison pour laquelle un intervalle crédible bayésien est supérieur à l’intervalle de confiance fréquentiste dans les exemples donnés par Jaynes. Mais ce n'est que parce que c'est la "mauvaise question" pour le fréquentiste.

(b) "Donnez-moi un intervalle où, si l'expérience était répétée un grand nombre de fois, la vraie valeur de la statistique se situerait dans p * 100% de tels intervalles", alors la réponse fréquentiste est exactement ce que vous voulez. Le bayésien peut également être en mesure de donner une réponse directe à cette question (même s’il ne s’agit peut-être pas simplement d’un intervalle crédible). Le commentaire de Whuber sur la question suggère que c'est le cas.

Il s’agit donc essentiellement de spécifier correctement la question et d’interpréter correctement la réponse. Si vous souhaitez poser la question (a), utilisez un intervalle de confiance bayésien. Si vous souhaitez poser la question (b), utilisez un intervalle de confiance fréquentiste.

Ceci est un exemple "complet" donné dans un livre écrit par Larry Wasserman Toutes les statistiques de la page 216 ( 12.8 Forces et faiblesses de l'inférence bayésienne ). En gros, je fournis ce que Wasserman n’a pas dans son livre: 1) une explication de ce qui se passe réellement, plutôt qu’une file d’attente; 2) la réponse fréquentiste à la question, que Wasserman ne donne commodément pas; et 3) une démonstration que la confiance équivalente calculée en utilisant la même information souffre du même problème.

Dans cet exemple, il énonce la situation suivante

1. Une observation, X, avec une distribution d'échantillonnage:$(X|\theta)\sim N(\theta,1)$
2. Distribution préalable de (il utilise en fait un général pour la variance, mais son diagramme est spécialisé pour )$(\theta)\sim N(0,1)$$\tau^2$$\tau^2=1$

Il montre ensuite que l'utilisation d'un intervalle bayésien à 95% de crédibilité dans cette configuration a finalement une couverture fréquentiste de 0% lorsque la vraie valeur de devient arbitrairement grande. Par exemple, il fournit un graphique de la couverture (p218), et vérifiant à l'œil lorsque la valeur vraie de est 3, la couverture est d'environ 35%. Il poursuit ensuite en disant:$\theta$$\theta$

... Que devrions-nous conclure de tout cela? L'important est de comprendre que les méthodes fréquentistes et bayésiennes répondent à des questions différentes. Pour combiner des croyances antérieures avec des données conformément à des principes, utilisez l'inférence bayésienne. Pour construire des procédures avec des performances garanties à long terme, telles que des intervalles de confiance, utilisez des méthodes fréquentistes ... (p217)

Et puis passe à autre chose sans explication ni explication des raisons pour lesquelles la méthode bayésienne a apparemment si mal fonctionné. En outre, il ne donne pas de réponse de la part de l’approche fréquentiste, il se contente de donner une idée générale du «long terme» - une tactique politique classique (mettez l’accent sur votre force et la faiblesse des autres, mais ne comparez jamais la situation à la fois).

Je montrerai comment le problème énoncé peut être formulé en termes fréquentistes / orthodoxes, puis je montrerai que le résultat qui utilise des intervalles de confiance donne exactement la même réponse que le problème bayésien . Ainsi, tout défaut bayésien (réel ou perçu) n'est pas corrigé en utilisant des intervalles de confiance.$\tau=1$

Ok, alors vas-y. La première question que je pose est la suivante: quel est l’état des connaissances décrit par l’ancien ? Si quelqu'un était "ignorant" à propos de , alors la manière appropriée de l'exprimer est . Maintenant , supposons que nous ignorions, et nous avons observé , indépendamment de . Que serait notre postérieur pour ?$\theta\sim N(0,1)$$\theta$$p(\theta)\propto 1$$Y\sim N(\theta,1)$$X$$\theta$

Donc . Cela signifie que la distribution antérieure donnée dans l'exemple de Wassermans équivaut à avoir observé une copie iid de égale à . Méthodes fréquentistes ne peuvent pas faire face à un avant, mais il peut être considéré comme ayant fait 2 observations de la distribution d'échantillonnage, un égal à , et un égal à . Les deux problèmes sont entièrement équivalents et nous pouvons en fait donner la réponse fréquentiste à la question.$(\theta|Y)\sim N(Y,1)$$X$$0$$0$$X$

Comme nous avons affaire à une distribution normale avec une variance connue, la moyenne est une statistique suffisante pour construire un intervalle de confiance pour . La moyenne est égale à et a une distribution d'échantillonnage$\theta$$\overline{x}=\frac{0+X}{2}=\frac{X}{2}$

Ainsi, un CI est donné par:$(1-\alpha)\text{%}$

Mais, utilisant les résultats de l'exemple 12.8 pour Wasserman, il montre que l' intervalle crédible postérieur pour est donné par:$(1-\alpha)\text{%}$$\theta$

Où . Ainsi, brancher la valeur à donne et l'intervalle crédible devient:$c=\frac{\tau^{2}}{1+\tau^{2}}$$\tau^{2}=1$$c=\frac{1}{2}$

Qui sont exactement les mêmes que l'intervalle de confiance! Donc, tout défaut dans la couverture présentée par la méthode bayésienne, n'est pas corrigé en utilisant l'intervalle de confiance fréquentiste! [Si le fréquentiste choisit d’ignorer le préalable, la comparaison sera alors juste, et le bayésien devra également ignorer ce précédent et utiliser l’ignorance antérieure , et les deux intervalles seront toujours égaux - ].$p(\theta)\propto 1$$X \pm Z_{\alpha/2})$

Alors qu'est-ce qui se passe ici? Le problème est essentiellement un problème de non-robustesse de la distribution d'échantillonnage normale. car le problème équivaut à avoir déjà observé une copie de iid, . Si vous avez observé , il est extrêmement peu probable que cela se soit produit si la valeur vraie est (probabilité que lorsque vaut 0,000032). Cela explique pourquoi la couverture est si mauvaise pour les grandes "valeurs vraies", car elles rendent effectivement l'observation implicite contenue dans le précédent une valeur aberrante . En fait, vous pouvez montrer que cet exemple est fondamentalement équivalent à montrer que la moyenne arithmétique a une fonction d’influence non bornée.$X=0$$0$$\theta=4$$X\leq 0$$\theta=4$

Généralisation. Maintenant, certaines personnes peuvent dire "mais vous n'avez envisagé que , ce qui peut constituer un cas spécial". Ce n'est pas vrai: toute valeur de peut être interprétée comme observant iid copies de qui étaient toutes égales à , en plus du de la question. L'intervalle de confiance aura les mêmes "mauvaises" propriétés de couverture pour les grands . Mais cela devient de plus en plus improbable si vous continuez à observer les valeurs de (et aucune personne rationnelle ne continuerait à s’inquiéter des gros si vous continuez à voir ).$\tau=1$$\tau^2=\frac{1}{N}$ $(N=0,1,2,3,\dots)$$N$$X$$0$$X$$\theta$$0$$\theta$$0$

Le problème commence par votre phrase:

Les exemples basés sur des hypothèses antérieures incorrectes ne sont pas acceptables car ils ne disent rien sur la cohérence interne des différentes approches.

Ouais, comment savez-vous que votre prieur est correct?

Prenons le cas de l'inférence bayésienne en phylogénie. La probabilité d'au moins un changement est liée au temps évolutif (longueur de branche t) par la formule

avec u étant le taux de substitution.

Maintenant, vous voulez faire un modèle de l'évolution, basé sur la comparaison des séquences d'ADN. Essentiellement, vous essayez d’estimer un arbre dans lequel vous essayez de modéliser le plus près possible la quantité de changement entre les séquences d’ADN. Le P ci-dessus est la chance d'au moins un changement sur une branche donnée. Les modèles évolutifs décrivent les chances de changement entre deux nucléotides quelconques et la fonction d'estimation est déduite de ces modèles évolutifs, soit avec p en tant que paramètre, soit avec t en tant que paramètre.

Vous n'avez aucune connaissance sensible et vous avez choisi un appartement avant pour p. Cela implique de manière inhérente une priorité décroissante de manière exponentielle pour t. (Cela devient encore plus problématique si vous voulez définir un appartement avant sur t. L'avant implicite sur p dépend fortement de l'endroit où vous avez coupé la plage de t.)

En théorie, t peut être infini, mais lorsque vous autorisez une plage infinie, l'aire sous la fonction de densité est également égale à l'infini. Vous devez donc définir un point de troncature pour le précédent. Maintenant, lorsque vous choisissez un point de troncature suffisamment grand, il n’est pas difficile de prouver que les deux extrémités de l’intervalle crédible augmentent et, à un moment donné, la valeur réelle n’est plus contenue dans cet intervalle. Sauf si vous avez une très bonne idée de la méthode antérieure, les méthodes bayésiennes ne sont pas garanties égales ni supérieures aux autres méthodes.

ref: Joseph Felsenstein: Inférer les phylogénies, chapitre 18

En passant, je commence à en avoir marre de cette querelle Bayesian / Frequentist. Ce sont deux cadres différents et la Vérité Absolue non plus. Les exemples classiques des méthodes pro bayésiennes sont invariants du calcul des probabilités, et pas un fréquentiste ne les contredira. L'argument classique contre les méthodes bayésiennes implique invariablement le choix arbitraire d'un prieur. Et des priors sensibles sont certainement possibles.

Tout se résume à l'utilisation correcte de l'une ou l'autre méthode au bon moment. J'ai vu très peu d'arguments / comparaisons où les deux méthodes ont été appliquées correctement. Les hypothèses de toute méthode sont très sous-estimées et trop souvent ignorées.

EDIT: pour clarifier, le problème réside dans le fait que l'estimation basée sur p diffère de l'estimation basée sur t dans le cadre bayésien lorsque l'on travaille avec des priors non informatifs (ce qui est dans un certain nombre de cas la seule solution possible). Ce n'est pas vrai dans le cadre de ML pour l'inférence phylogénétique. Il ne s'agit pas d'un faux préalable, c'est inhérent à la méthode.

Keith Winstein,

EDIT: Juste pour clarifier, cette réponse décrit l'exemple donné dans Keith Winstein Answer sur King avec le jeu statistique cruel. Les réponses bayésienne et Frequentist utilisent toutes deux la même information, à savoir ignorer les informations sur le nombre de pièces justes et injustes lors de la construction des intervalles. Si cette information n'est pas ignorée, le fréquentiste devrait utiliser la vraisemblance bêta-binomiale intégrée comme distribution d'échantillonnage dans la construction de l'intervalle de confiance, auquel cas l'intervalle de confiance de Clopper-Pearson n'est pas approprié et doit être modifié. Un ajustement similaire devrait avoir lieu dans la solution bayésienne.

EDIT: J'ai également clarifié l'utilisation initiale du clopper Pearson Interval.

EDIT: hélas, mon alpha est dans le mauvais sens, et mon intervalle de clopper pearson est incorrect. Mes plus humbles excuses à @whuber, qui l’a correctement souligné, mais avec qui j’ai initialement été en désaccord et ignoré.

Le CI utilisant la méthode Clopper Pearson est très bon

Si vous n'obtenez qu'une observation, alors l'intervalle de Clopper Pearson peut être évalué de manière analytique. Supposons que la pièce apparaisse comme un "succès" (têtes), vous devez choisir tel que$\theta$

Lorsque ces probabilités sont et , de sorte que le CI Clopper Pearson implique que (et trivialement toujours vrai ) lorsque . Lorsque ces probabilités sont et ; le CI Clopper Pearson implique donc que ou lorsque . Donc, pour un IC à 95%, on obtient quand , et$X=1$$Pr(Bi(1,\theta)\geq 1)=\theta$$Pr(Bi(1,\theta)\leq 1)=1$$\theta\geq\frac{\alpha}{2}$$1\geq\frac{\alpha}{2}$$X=1$$X=0$$Pr(Bi(1,\theta)\geq 0)=1$$Pr(Bi(1,\theta)\leq 0)=1-\theta$$1-\theta \geq\frac{\alpha}{2}$$\theta\leq 1-\frac{\alpha}{2}$$X=0$$[0.025,1]$$X=1$$[0,0.975]$ lorsque .$X=0$

Ainsi, celui qui utilise l'intervalle de confiance Clopper Pearson ne sera jamais décapité. Lors de l'observation de l'intervalle, il s'agit essentiellement de tout l'espace des paramètres. Mais l’intervalle CP fait cela en donnant une couverture de 100% à un intervalle supposé de 95%! En gros, les Frequentists "trichent" en donnant un intervalle de confiance de 95% supérieur à la couverture demandée (même si qui ne tricherait pas dans une telle situation? Si c'était moi, je donnerais à l'ensemble [0, 1] intervalle). Si le roi demandait un IC exact à 95%, cette méthode fréquentiste échouerait indépendamment de ce qui s'est réellement passé (peut-être une meilleure existe-t-elle?).

Qu'en est-il de l'intervalle bayésien? (en particulier l'intervalle bayésien des plus hautes postérités postérieures (HPD))

Parce que nous savons a priori que les têtes et les queues peuvent se relever, l’uniforme précédent est un choix raisonnable. Ceci donne une distribution postérieure de . Il ne nous reste plus qu'à créer un intervalle avec une probabilité postérieure de 95%. Semblable au clopper pearson CI, la distribution cumulative bêta est analytique ici aussi, de sorte que et réglant sur 0,95 donne lorsque et lorsque . Donc, les deux intervalles crédibles sont$(\theta|X)\sim Beta(1+X,2-X)$$Pr(\theta \geq \theta^{e} | x=1) = 1-(\theta^{e})^{2}$$Pr(\theta \leq \theta^{e} | x=0) = 1-(1-\theta^{e})^{2}$$\theta^{e}=\sqrt{0.05}\approx 0.224$$X=1$$\theta^{e}= 1-\sqrt{0.05}\approx 0.776$$X=0$$(0,0.776)$ lorsque et lorsque$X=0$$(0.224,1)$$X=1$

Ainsi, le Bayésien sera décapité pour son intervalle HPD Credible dans le cas où il obtiendrait la mauvaise pièce et que la pièce Bad se dresserait avec un risque de .$\frac{1}{10^{12}+1}\times\frac{1}{10}\approx 0$

Première observation, l'intervalle bayésien est inférieur à l'intervalle de confiance. Une autre chose est que le Bayésien serait plus proche de la couverture réelle indiquée, 95%, que le fréquentiste. En fait, le Bayésien est à peu près aussi proche de la couverture de 95% que l'on peut obtenir dans ce problème. Et contrairement à l'affirmation de Keith, si la mauvaise pièce est choisie, 10 Bayésiens sur 100 perdront en moyenne leur tête (pas tous, car la mauvaise pièce doit venir en tête pour que l'intervalle ne contienne pas ). $0.1$

Il est intéressant de noter que si l’intervalle CP pour une observation a été utilisé à plusieurs reprises (nous avons donc N intervalles de ce type, basés chacun sur une observation) et que la proportion réelle se situait entre et , la couverture de l’IC à 95% sera toujours de 100. % et pas 95%! Cela dépend clairement de la valeur réelle du paramètre! Il s'agit donc au moins d'un cas où l'utilisation répétée d'un intervalle de confiance ne conduit pas au niveau de confiance souhaité.$0.025$$0.975$

Pour citer un véritable intervalle de confiance de 95%, il devrait y avoir par définition des cas (c'est-à-dire au moins un) de l'intervalle observé qui ne contiennent pas la valeur vraie du paramètre . Sinon, comment justifier la balise à 95%? Ne serait-il pas juste valide ou invalide d'appeler cela un intervalle de 90%, 50%, 20% ou même 0%?

Je ne vois pas comment il serait satisfaisant de dire «cela signifie en réalité 95% ou plus» sans restriction complémentaire. En effet, la solution mathématique évidente est l’ensemble de l’espace des paramètres et le problème est trivial. supposons que je veuille un IC à 50%? si elle ne limite que les faux négatifs, alors tout l'espace de paramètre est un CI valide utilisant uniquement ce critère.

Peut-être un meilleur critère est-il (et c'est ce que je crois implicite dans la définition de Kieth) "aussi proche que possible de 95%, sans aller au-dessous de 95%". L'intervalle bayésien aurait une couverture plus proche de 95% que celle du fréquentiste (mais pas beaucoup) et ne passerait pas sous la couverture à 95% (couverture lorsque et couverture lorsque ).$\text{100%}$$X=0$$100\times\frac{10^{12}+\frac{9}{10}}{10^{12}+1}\text{%} > \text{95%}$$X=1$

En conclusion, il semble un peu étrange de demander un intervalle d'incertitude, puis d'évaluer cet intervalle en utilisant la valeur vraie dont nous doutions. Une comparaison "plus juste", tant pour la confiance que pour les intervalles crédibles, me semble être la vérité de la déclaration d'incertitude donnée avec l'intervalle .

Les intervalles de confiance Frequentist ont limité le taux de faux positifs (erreurs de type I) et garantissent que leur couverture sera limitée par le paramètre de confiance, même dans le pire des cas. Les intervalles de crédibilité bayésiens ne le sont pas.

Donc, si vous tenez à de faux positifs et que vous devez les lier, l’intervalle de confiance est l’approche que vous souhaitez utiliser.

Par exemple, disons que vous avez un roi diabolique avec une cour de 100 courtisans et courtisanes et qu'il veut jouer à un jeu statistique cruel avec eux. Le roi a un sac d'un billion de pièces justes, plus une pièce injuste dont la probabilité de tête est de 10%. Il va effectuer le jeu suivant. Tout d'abord, il tirera une pièce de façon uniforme au hasard dans le sac.

Ensuite, la pièce sera distribuée dans une pièce de 100 personnes et chacune d'entre elles sera contrainte de faire une expérience dessus, en privé, puis chaque personne indiquera un intervalle d'incertitude de 95% de la probabilité, à son avis, de la tête de la pièce.

Toute personne qui donne un intervalle qui représente un faux positif - c'est-à-dire un intervalle qui ne couvre pas la valeur réelle de la probabilité de tête - sera décapitée.

Si nous voulions exprimer la fonction / a posteriori / probabilité de distribution du poids de la pièce, alors bien sûr, un intervalle de crédibilité est ce qui fait cela. La réponse sera toujours l'intervalle [0.5, 0.5] indépendamment du résultat. Même si vous retournez zéro tête ou une tête, vous direz quand même [0.5, 0.5], car il est beaucoup plus probable que le roi ait tiré une pièce équitable et que vous ayez eu une journée sur 1/1024 avec dix têtes d'affilée. , que le roi a tiré la pièce injuste.

Ce n'est donc pas une bonne idée pour les courtisans et les courtisanes! Parce que lorsque la pièce injuste sera tirée, toute la salle (les 100 personnes) se trompera et toutes se feront décapiter.

Dans ce monde où les faux positifs sont le plus important, nous avons besoin d’une garantie absolue que le taux de faux positifs sera inférieur à 5%, quelle que soit la pièce tirée. Ensuite, nous devons utiliser un intervalle de confiance, comme Blyth-Still-Casella ou Clopper-Pearson, qui fonctionne et fournit une couverture d'au moins 95% quelle que soit la valeur vraie du paramètre, même dans le pire des cas . Si tout le monde utilise cette méthode à la place, quelle que soit la pièce tirée, nous pouvons garantir au bout du compte que le nombre attendu de mauvaises personnes ne sera pas supérieur à cinq.

Le problème est donc le suivant: si votre critère exige la limitation des faux positifs (ou une garantie équivalente), vous devez utiliser un intervalle de confiance. C'est ce qu'ils font. Les intervalles de crédibilité peuvent être un moyen plus intuitif d’exprimer l’incertitude, ils peuvent très bien fonctionner grâce à une analyse fréquentiste, mais ils ne fourniront pas la garantie des faux positifs que vous obtiendrez lorsque vous le demanderez.

(Bien sûr, si vous vous souciez également des faux négatifs, vous aurez besoin d'une méthode offrant des garanties à ce sujet également ...)

existe-t-il des exemples où l'intervalle de confiance fréquentiste est clairement supérieur à l'intervalle crédible bayésien (selon le défi implicitement posé par Jaynes)?

Voici un exemple : le vrai est égal à mais le précédent sur est concentré autour de . Je fais des statistiques pour un essai clinique et mesure le risque de mort, alors le résultat bayésien est un désastre, n'est-ce pas? Plus sérieusement, quel est "l'intervalle" crédible bayésien? En d'autres termes: quel est le préalable sélectionné? Peut-être que Jaynes a proposé un moyen automatique de sélectionner un avant, je ne sais pas!10 θ 1 $\theta$$10$$\theta$$1$$\theta$

Bernardo a proposé un "préalable de référence" à utiliser comme standard pour la communication scientifique [et même un "intervalle de référence crédible" ( Bernardo - régions crédibles objectives )]. En supposant que ce soit "l'approche" bayésienne, la question qui se pose est la suivante: quand un intervalle est-il supérieur à un autre? Les propriétés fréquentistes de l'intervalle bayésien ne sont pas toujours optimales, pas plus que les propriétés bayésiennes de "l'intervalle fréquentiste"
(au fait, quel est "l'intervalle fréquentiste?)