Y a-t-il plus à la probabilité que le bayésianisme?

En tant qu'étudiant en physique, j'ai fait l'expérience de la conférence «Pourquoi je suis un bayésien» peut-être une demi-douzaine de fois. C'est toujours la même chose - le présentateur explique avec suffisance comment l'interprétation bayésienne est supérieure à l'interprétation fréquentiste prétendument employée par les masses. Ils mentionnent la règle de Bayes, la marginalisation, les prieurs et les postérieurs.

Quelle est la vraie histoire?

Existe-t-il un domaine d'application légitime pour les statistiques fréquentistes? (Sûrement en échantillonnant ou en lançant un dé plusieurs fois, cela doit s'appliquer?)

Existe-t-il des philosophies probabilistes utiles au-delà du «bayésien» et du «fréquentiste»?

L'interprétation bayésienne de la probabilité suffit à des fins pratiques. Mais même avec une interprétation bayésienne de la probabilité, la statistique est plus que la probabilité , car le fondement de la statistique est la théorie de la décision et la théorie de la décision nécessite non seulement une classe de modèles de probabilité mais aussi la spécification d'un critère d'optimalité pour une règle de décision. Selon les critères de Bayes, les règles de décision optimales peuvent être obtenues via la règle de Bayes; mais de nombreuses méthodes fréquentistes sont justifiées par minimax et d'autres critères de décision.

«Bayésien» et «fréquentiste» ne sont pas des «philosophies probabilistes». Ce sont des écoles de pensée et de pratique statistiques qui se préoccupent principalement de quantifier l'incertitude et de prendre des décisions, bien qu'elles soient souvent associées à des interprétations particulières de la probabilité. La perception la plus courante, bien qu'elle soit incomplète, est probablement celle de la probabilité en tant que quantification subjective de la croyance par rapport aux probabilités en tant que fréquences à long terme. Mais même ceux-ci ne s'excluent pas vraiment mutuellement. Et vous ne le savez peut-être pas, mais il y a des Bayésiens déclarés qui ne sont pas d'accord sur des questions philosophiques particulières sur la probabilité.

Les statistiques bayésiennes et les statistiques fréquentistes ne sont pas non plus orthogonales. Il semble que «fréquentiste» signifie «pas bayésien», mais c'est incorrect. Par exemple, il est parfaitement raisonnable de poser des questions sur les propriétés des estimateurs bayésiens et les intervalles de confiance sous échantillonnage répété. C'est une fausse dichotomie perpétuée au moins en partie par un manque de définition commune des termes bayésien et fréquentiste (nous les statisticiens n'avons d'autre responsable que nous-mêmes pour cela).

Pour une discussion amusante, pointue et réfléchie, je suggérerais les «Objections aux statistiques bayésiennes» de Gelman, les commentaires et la réplique, disponibles ici:

http://ba.stat.cmu.edu/vol03is03.php

Il y a même des discussions sur les intervalles de confiance en physique IIRC. Pour des discussions plus approfondies, vous pouvez parcourir les références qui y figurent. Si vous voulez comprendre les principes de l'inférence bayésienne, je suggérerais le livre de Bernando & Smith, mais il y a beaucoup, beaucoup d'autres bonnes références.

Jetez un œil à cet article de Cosma Shalizi et Andrew Gelman sur la philosophie et le bayésianisme. Gelman est un bayésien proéminent et Shalizi un fréquentateur!

Jetez également un œil à cette courte critique de Shalizi, où il souligne la nécessité de vérifier le modèle et de se moquer de l'argument du livre néerlandais utilisé par certains bayésiens.

Et enfin, mais non des moindres, je pense que, puisque vous êtes physicien, vous aimerez peut-être ce texte , où l'auteur pointe la «théorie de l'apprentissage computationnel» (que je ne connais franchement pas du tout), qui pourrait être une alternative au bayésianisme , pour autant que je puisse le comprendre (pas beaucoup).

ps .: Si vous suivez les liens, spécialement le dernier et que vous avez une opinion sur le texte (et les discussions qui ont suivi le texte sur le blog de l'auteur )

ps.2: Ma propre opinion: oubliez la question de la probabilité objective vs subjective, le principe de vraisemblance et l'argument de la nécessité d'être cohérent. Les méthodes bayésiennes sont bonnes lorsqu'elles vous permettent de bien modéliser votre problème (par exemple, en utilisant un avant pour induire unimodal postérieur lorsqu'il y a une probabilité bimodale, etc.) et il en va de même pour les méthodes fréquentistes. Aussi, oubliez les trucs sur les problèmes de p-value. Je veux dire, la valeur p est nulle, mais en fin de compte, elle est une mesure de l'incertitude, dans l'esprit de la façon dont Fisher l'a pensé.

Pour moi, l'important au sujet du bayésianisme est qu'il considère la probabilité comme ayant le même sens que nous appliquons intuitivement dans la vie quotidienne, à savoir le degré de plausibilité de la vérité d'une proposition. Très peu d'entre nous utilisent vraiment la probabilité pour signifier strictement une fréquence à long terme dans une utilisation quotidienne, ne serait-ce que parce que nous sommes souvent intéressés par des événements particuliers qui n'ont pas de fréquence à long terme, par exemple quelle est la probabilité que les émissions de combustibles fossiles provoquent un changement climatique significatif ? Pour cette raison, les statistiques bayésiennes sont beaucoup moins sujettes à une mauvaise interprétation que les statistiques fréquentistes.

Le bayésianisme a aussi la marginalisation, les prieurs, le maxent, les groupes de transformation, etc. qui ont tous leurs utilités, mais pour moi le principal avantage est que la définition de la probabilité est plus appropriée pour les types de problèmes que je veux aborder.

Cela ne rend pas les statistiques bayésiennes meilleures que les statistiques fréquentistes. Il me semble que les statistiques fréquentistes sont bien adaptées aux problèmes de contrôle qualité (où vous avez des échantillonnages répétés de populations) ou lorsque vous avez conçu des expériences, plutôt que l'analyse de données pré-collectées (bien que cela dépasse mon expertise, donc c'est juste de l'intuition).

En tant qu'ingénieur, il s'agit de "chevaux pour les cours" et j'ai les deux jeux d'outils dans ma boîte à outils et je les utilise régulièrement.

Il existe des systèmes non bayésiens ou des philosophies de probabilité - baconien et pascalien, par exemple si vous êtes dans l'épistémologie et la philosophie des sciences, vous pourriez apprécier les débats - sinon, vous secouerez la tête et conclurez qu'en fait, l'interprétation bayésienne est tout ce qu'il y a.

Pour de bonnes discussions,

• Cohen, LJ Introduction à la philosophie de l'induction et de la probabilité (Clarendon Press; Oxford University Press, Oxford New York, 1989)
• Schum, DA Les fondements probants du raisonnement probabiliste (Wiley, New York, 1994).