Pourquoi un Bayésien n'est-il pas autorisé à regarder les résidus?

Dans l'article "Discussion: les écologistes doivent-ils devenir bayésiens?" Brian Dennis donne une vision étonnamment équilibrée et positive des statistiques bayésiennes alors que son objectif semble être de mettre les gens en garde. Cependant, dans un paragraphe, sans aucune citation ni justification, il dit:

Les Bayésiens, voyez-vous, ne sont pas autorisés à regarder leurs résidus. Il est contraire au principe de vraisemblance de juger d'un résultat en fonction de son extrême sous un modèle. Pour un Bayésien, il n'y a pas de mauvais modèle, juste de mauvaises croyances.

Pourquoi un Bayésien ne serait-il pas autorisé à examiner les résidus? Quelle serait la citation appropriée pour cela (c'est-à-dire qui cite-t-il)?

Dennis, B.
Discussion: Les écologistes doivent-ils devenir bayésiens?
Ecological Applications, Société écologique d'Amérique , 1996 , 6, 1095-1103

— Mankka
source

Si cet argument fonctionnait, les fréquentistes ne pourraient pas non plus utiliser le principe de vraisemblance - pour la même raison.

— Glen_b

@Glen: analyse Frequentist ne violerait le principe de vraisemblance.

— Scortchi

@Glen: Un fréquentiste véritablement redevable au LP (la version faible, équivalente au principe de suffisance - la version forte est tout simplement incompatible avec l'approche fréquentiste) devrait éviter la vérification de modèle. Ceux qui l'admirent tout simplement sont heureux quand ils peuvent l'utiliser pour estimer les paramètres d'un modèle spécifié et ont encore des accessoires plus ou moins indépendants - les résidus - laissés pour le contrôle du modèle, quel qu'il soit.

— Scortchi - Réintégrer Monica

Même lorsque l'estimation fréquentiste le fait, il ne respecte toujours pas le LP car il considère que la distribution d'échantillonnage de l'EML permet de trouver un intervalle de confiance pour son estimation.

— Zen

@Zen: Il ne viole pas le faible LP tant que l'intervalle de confiance dépend des données uniquement via la fonction de vraisemblance. Mais il peut tôt ou tard violer le fort LP en faisant un intervalle de confiance différent basé sur la même fonction de vraisemblance à partir d'une expérience différente avec un espace d'échantillonnage différent.

— Scortchi - Réintégrer Monica

Réponses:

Bien sûr, les Bayésiens peuvent regarder les résidus! Et bien sûr, il existe de mauvais modèles dans l'analyse bayésienne. Peut-être que quelques Bayésiens des années 70 ont soutenu des opinions comme celle-là (et j'en doute), mais vous trouverez à peine un Bayésien favorable à cette opinion de nos jours.

Je n'ai pas lu le texte, mais les Bayésiens utilisent des facteurs tels que les facteurs de Bayes pour comparer les modèles. En réalité, un bayésien peut même calculer la probabilité qu'un modèle soit vrai et choisir celui qui est le plus vraisemblable. Ou un Bayésien peut faire la moyenne d'un modèle à l'autre pour obtenir un meilleur modèle. Ou peut utiliser des contrôles prédictifs postérieurs. Il y a beaucoup d'options pour vérifier un modèle et chacun peut favoriser une approche ou une autre, mais dire qu'il n'y a pas de mauvais modèles dans l'analyse bayésienne est absurde.

Donc, tout au plus, il serait plus approprié de dire que dans certaines versions extrêmes du bayésianisme (versions extrêmes que presque personne n'utilise dans les paramètres appliqués, soit dit en passant), vous n'êtes pas autorisé à vérifier votre modèle. Mais vous pouvez dire que dans certaines versions extrêmes du fréquentisme, vous n'êtes pas autorisé à utiliser des données d'observation également. Mais pourquoi perdre du temps à discuter de ces choses stupides, quand nous pouvons discuter si et quand, dans un contexte appliqué, nous devrions utiliser des méthodes bayésiennes ou fréquentistes ou quoi que ce soit? C'est ce qui est important, à mon humble avis.

Mise à jour: Le PO a demandé une référence à une personne prônant la version extrême de Bayes. Comme je n'ai jamais lu aucune version extrême de Bayes, je ne peux pas fournir cette référence. Mais je suppose que Savage peut être une telle référence. Je ne lis jamais rien de ce qu'il a écrit, alors je peux me tromper.

ps .: Pensez au problème du "bayésien bien calibré" ( Dawid (1982), JASA , 77 , 379 ). Un prévisionniste subjectiviste bayésien cohérent ne peut pas être déséquilibré, et ne réviserait donc pas son modèle / ses prévisions malgré toute preuve accablante qu'il n'est pas étalonné. Mais je ne pense pas que quiconque dans la pratique puisse prétendre être aussi cohérent. Ainsi, la révision du modèle est importante.

ps2 .: J'aime aussi ce papier d'Efron . La référence complète est: Efron, Bradley (2005). "Bayésiens, fréquentistes et scientifiques." Journal de l'American Statistical Association 100 (469).

— Manoel Galdino
source

J’ai aussi été surpris que la prohibition n’était jamais prise au sérieux dans la pratique. J’ai donc été surpris de lire ceci par Gelman: illégal de vérifier l'ajustement de votre modèle aux données. "

— Scortchi - Réintégrer Monica

Je ne sais pas comment était la statistique bayésienne dans les années quatre-vingt-dix. Mais il est difficile de croire que, dans les contextes appliqués, les Bayésiens n’ont pas vérifié leurs modèles. Peut-être qu'ils ont vérifié, mais n'ont rien dit!

— Manoel Galdino

\neq

$\neq$

Je suis tout à fait d’accord pour dire que ce n’est pas un problème majeur, j’étais curieux de savoir si quelqu'un avait déjà publié un article à ce sujet. Avez-vous déjà lu quelqu'un préconisant ces "versions extrêmes du bayésianisme"?

— Mankka

Ils peuvent regarder mais pas toucher. Après tout, les résidus sont la partie des données qui ne contient aucune information sur les paramètres du modèle, et leur précédent exprime toute incertitude à leur sujet. Ils ne peuvent pas changer leur précédent en fonction de ce qu'ils voient dans les données.

Par exemple, supposons que vous correspondiez à un modèle gaussien, mais que vous remarquiez beaucoup trop de kurtosis dans les résidus. Votre hypothèse précédente aurait peut-être dû être une distribution t avec une probabilité non nulle sur des degrés de liberté faibles, mais ce n'était pas le cas - c'était en réalité une distribution t avec une probabilité nulle partout sauf sur des degrés de liberté infinis. Rien dans la probabilité ne peut donner lieu à des probabilités non nulles sur les régions de la densité postérieure où la densité antérieure est nulle. Ainsi, la notion de mise à jour continue des privilèges basée sur les probabilités à partir de données ne fonctionne pas lorsque le préfixe d'origine est mal spécifié.

Bien sûr, si vous Google "vérification de modèle bayésien", vous verrez que c'est une parodie de la pratique bayésienne réelle; néanmoins, cela représente quelque peu une difficulté pour les arguments de type logique de la science pour la supériorité du bayésianisme sur des bases philosophiques. Le blog d'Andrew Gelman est intéressant sur ce sujet.

— Scortchi - Rétablir Monica
source

Avez-vous des références sur cette "difficulté de la logique de la science"?

— Mankka

Je faisais référence à Jaynes, Théorie des probabilités: la logique de la science , dans laquelle l’utilisation répétée du théorème de Bayes pour mettre à jour les distributions de probabilités au fur et à mesure de l’apparition de nouvelles données est considérée comme un paradigme pour la croissance des connaissances scientifiques. Je suis sûr qu'il traite du problème d'un préalable trop étroit, mais je ne me souviens pas comment ni de manière satisfaisante. Et je vais changer la "supériorité générale" en "supériorité pour des raisons philosophiques", car cela semble mieux traduire ce que je voulais dire.

— Scortchi - Réintégrer Monica

Cet exemple d'utilisation antérieure bayésienne a été appliqué pour réduire la survenue occasionnelle (2%) de résultats non physiques . Ce manque de physique a été attribué à un mélange instantané non physique (de médicament dans le corps) et a été corrigé en supposant un mélange initial nul en utilisant un meilleur modèle. Il semble préférable d’adapter le modèle au problème que de truquer les réponses pour se conformer aux idées préconçues. (+1)

— Carl