Qui sont les Bayésiens?

Au fur et à mesure que l'on s'intéresse aux statistiques, la dichotomie "Frequentist" vs "Bayesian" se banalise (et qui n'a pas lu Le signal et le bruit de Nate Silver , de toute façon?). Dans les causeries et les cours d'initiation, le point de vue est extrêmement fréquentiste ( MLE , valeurs ), mais on a tendance à consacrer une fraction du temps nécessaire pour admirer la formule de Bayes et aborder l'idée d'une distribution antérieure , généralement de manière tangentielle.$p$

Le ton utilisé pour discuter des statistiques bayésiennes oscille entre le respect de ses fondements conceptuels et un soupçon de scepticisme concernant le gouffre entre des objectifs ambitieux et l'arbitraire dans le choix de la distribution antérieure, ou l'utilisation éventuelle de calculs fréquentistes après tout.

Des phrases telles que "si vous êtes un bayésien endurci ..." abondent.

La question est de savoir qui sont les bayésiens aujourd'hui. S'agit-il d'institutions académiques sélectionnées où vous savez que si vous y allez, vous deviendrez bayésien? Si oui, sont-ils spécialement recherchés? Ne parlons-nous que de quelques statisticiens et mathématiciens respectés et, dans l'affirmative, qui sont-ils?

Existent-ils même en tant que tels, ces "Bayésiens" purs? Accepteraient-ils volontiers l'étiquette? Est-ce toujours une distinction flatteuse? Sont-ils des mathématiciens avec des diapositives particulières dans les réunions, dépourvus de valeurs et d'intervalles de confiance, facilement repérables sur la brochure?$p$

Combien de niche est d'être un "Bayésien"? Parlons-nous d'une minorité de statisticiens?

Ou bien le Bayesian-ism actuel est-il assimilé à des applications d'apprentissage automatique?

... ou plus vraisemblablement encore, la statistique bayésienne n'est-elle pas une branche de la statistique, mais plutôt un mouvement épistémologique qui transcende la portée des calculs de probabilité en une philosophie des sciences? À cet égard, tous les scientifiques seraient bayésiens dans l'âme ... mais il n'y aurait aucun statisticien bayésien pur, imperméable aux techniques (ou aux contradictions) fréquentistes.

Je vais répondre à vos questions dans l'ordre:

La question est de savoir qui sont les bayésiens aujourd'hui.

Toute personne qui effectue l'analyse de données bayésienne et s'auto-identifie comme "bayésienne". Tout comme un programmeur est quelqu'un qui programme et s'identifie comme un "programmeur". Une légère différence est que, pour des raisons historiques, Bayesian a des connotations idéologiques, en raison de l’argument souvent échauffé entre les partisans de l’interprétation "fréquentiste" de la probabilité et ceux de l’interprétation "bayésienne".

Est-ce que ce sont des institutions académiques sélectionnées, où vous savez que si vous y allez, vous deviendrez bayésien?

Non, comme dans d'autres statistiques, vous avez besoin d'un bon livre (et peut-être d'un bon enseignant).

Si oui, sont-ils spécialement recherchés?

L’analyse bayésienne des données est un outil très utile lors de la modélisation statistique, ce qui, j’imagine, est une compétence très recherchée (même si les entreprises ne recherchent peut-être pas spécifiquement des «bayésiens»).

Ne parlons-nous que de quelques statisticiens et mathématiciens respectés et, dans l'affirmative, qui sont-ils?

Je crois que beaucoup de statisticiens respectés se diraient Bayésiens , mais ce ne sont pas les Bayésiens.

Existent-ils même en tant que tels, ces "Bayésiens" purs?

C'est un peu comme si on demandait "ces programmeurs purs existent-ils"? Il existe un article amusant appelé 46656 Variétés de Bayésiens et il est certain que les "Bayésiens" discutent sainement de nombreux problèmes fondamentaux. Tout comme les programmeurs peuvent discuter des avantages de différentes techniques de programmation. (BTW, programme de programmation pur en Haskell).

Accepteraient-ils volontiers l'étiquette?

Certains le font, d'autres pas. Lorsque j'ai découvert l'analyse bayésienne des données, je pensais que c'était le meilleur depuis le pain en tranches (je le fais toujours) et j'étais heureux de m'appeler "bayésien" (notamment pour irriter les responsables de mon service). De nos jours, je n'aime pas le terme. Je pense que cela pourrait aliéner les gens, car cela donne l'impression que l'analyse bayésienne des données est une sorte de culte, ce qui n'est pas le cas, plutôt qu'une méthode utile dans votre boîte à outils statistiques.

Est-ce toujours une distinction flatteuse?

Nan! Pour autant que je sache, le terme "bayésien" a été introduit par le célèbre statisticien Fisher comme terme péjoratif. Avant cela, on l'appelait "probabilité inverse" ou simplement "probabilité".

Sont-ils des mathématiciens avec des diapositives particulières dans les réunions, dépourvus de valeurs p et d'intervalles de confiance, facilement repérables sur la brochure?

Eh bien, il y a des conférences dans les statistiques bayésiennes, et je ne pense pas qu'elles incluent autant de valeurs prédictives. Que vous trouviez les diapositives particulières dépendra de votre arrière-plan ...

Combien de niche est d'être un "Bayésien"? Parlons-nous d'une minorité de statisticiens?

Je pense toujours qu'une minorité de statisticiens traitent des statistiques bayésiennes, mais je pense aussi que leur proportion augmente.

Ou bien le Bayesian-ism actuel est-il assimilé à des applications d'apprentissage automatique?

Non, mais les modèles bayésiens sont beaucoup utilisés dans l'apprentissage automatique. Voici un excellent livre d'apprentissage machine qui présente l'apprentissage machine d'un point de vue bayésien / probibaliste: http://www.cs.ubc.ca/~murphyk/MLbook/

J'espère que cela a répondu à la plupart des questions :)

Mise à jour:

Peux-tu envisager d'ajouter une liste de techniques ou de prémisses spécifiques qui distinguent les statistiques bayésiennes?

Ce qui distingue la statistique bayésienne est l'utilisation de modèles bayésiens :) Voici mon tour sur ce modèle bayésien est :

Un modèle bayesien est un modèle statistique dans lequel vous utilisez la probabilité pour représenter toutes les incertitudes du modèle, à la fois l'incertitude relative à la sortie mais également l'incertitude relative à l'entrée (c'est-à-dire aux paramètres) du modèle. Le théorème antérieur / postérieur / de Bayes suit tout cela, mais à mon avis, utiliser la probabilité pour tout est ce qui le rend bayésien (et un meilleur mot serait peut-être simplement un modèle de modèle probabiliste).

Maintenant, les modèles bayésiens peuvent être difficiles à adapter , et de nombreuses techniques de calcul sont utilisées à cet effet. Mais ces techniques ne sont pas bayésiennes en elles-mêmes. Pour nommer certaines techniques de calcul:

• Chaîne de Markov Monte Carlo
  • Metropolis-Hastings
  • Échantillonnage de Gibbs
  • Hamiltonien Monte Carlo
• Variationnelle Bayes
• Calcul bayésien approximatif
• Filtres à particules
• Approximation de Laplace
• Etc...

Quel est le fameux statisticien qui a introduit le terme «bayésien» comme péjoratif?

C'était soi-disant Ronald Fisher. Le papier Quand l'inférence bayésienne est-elle devenue "bayésienne"? donne l'histoire du terme "bayésien".

Les bayésiens sont des personnes qui définissent les probabilités comme une représentation numérique de la plausibilité d'une proposition. Les fréquentistes sont des personnes qui définissent les probabilités comme représentant des fréquences à long terme. Si vous n’êtes satisfait que de l’une ou l’autre de ces définitions, vous êtes soit bayésien, soit fréquentiste. Si vous êtes satisfait de l'un ou de l'autre et que vous utilisez la définition la plus appropriée pour la tâche à accomplir, vous êtes alors un statisticien! ; o) En gros, cela revient à définir une probabilité et j'espère que la plupart des statisticiens en activité seront capables de voir les avantages et les inconvénients des deux approches.

soupçon de scepticisme concernant le fossé entre les objectifs élevés, et l'arbitraire dans le choix de la distribution antérieure, ou l'utilisation éventuelle de maths fréquentistes après tout.

Le scepticisme va aussi dans l'autre sens. Le fréquentisme a été inventé avec le noble objectif d'éliminer la subjectivité de la pensée existante sur les probabilités et les statistiques. Cependant, la subjectivité est toujours présente (par exemple pour déterminer le niveau de signification approprié dans les tests d'hypothèses), mais elle n'est simplement pas explicitée, ou souvent simplement ignorée .

Andrew Gelman , par exemple, professeur de statistique et de sciences politiques à l'Université Columbia, est un éminent bayésien.

Je pense que la plupart des boursiers de l'ISBA se considéreraient probablement également bayésiens.

En général, les sujets de recherche suivants reflètent généralement une approche bayésienne. Si vous lisez des articles à leur sujet, il est probable que les auteurs se décrivent comme "bayésiens"

• Markov-Chain Monte Carlo
• Méthodes bayésiennes variationnelles (le nom l'indique)
• Filtrage de particules
• Programmation probabiliste

Aujourd'hui, nous sommes tous bayésiens , mais il existe un monde au-delà de ces deux camps: la probabilité algorithmique. Je ne sais pas quelle est la référence en la matière, mais ce bel article de Kolmogorov sur la complexité algorithmique est: AN Kolmogorov, Trois approches pour définir le concept de «quantité d'informations» , Probl. Peredachi Inf., 1965, volume 1, numéro 1, pages 3 à 11. Je suis sûr qu'il y a une traduction anglaise.

Dans cet article, il définit la quantité d'informations de trois manières: combinatoire, probabiliste et (nouvelle) algorithmique. Le combinatoire correspond directement au fréquentiste, le probabiliste ne correspond pas directement au bayésien, mais il est compatible avec celui-ci.

MISE À JOUR: Si vous êtes intéressé par la philosophie de la probabilité, je voudrais signaler un travail très intéressant " Les origines et l'héritage de Grundbegriffe de Kolmogorov"par Glenn Shafer et Vladimir Vovk. Nous avions en quelque sorte tout oublié avant Kolmogorov, et il se passait beaucoup de temps avant son œuvre phare. Par contre, nous ne connaissons pas grand-chose de ses opinions philosophiques. On pense généralement qu'il était un fréquentiste, par exemple. En réalité, il vivait en Union soviétique en 1930 ', où il était assez dangereux de s'aventurer dans la philosophie, littéralement, on pouvait avoir des ennuis existentiels, ce que certains scientifiques ont fait (se sont retrouvés dans les prisons du GULAG). Il était en quelque sorte contraint d'indiquer implicitement qu'il était fréquentiste.Je pense qu'en réalité, il n'était pas seulement un mathématicien, mais un scientifique et avait une vision complexe de l'applicabilité de la théorie des probabilités à la réalité.

Il existe également un autre article de Vovk sur l'approche algorithmique de Kolmogorov à l'égard du caractère aléatoire: les contributions de Kolmogorov aux fondements de la probabilité

Vovk a créé une approche théorique des probabilités des jeux, également très intéressante.

$P(B|E)$$B$$E$$P(E|B)$

MISE À JOUR 3:

Je voulais aussi souligner quelque chose dans le travail original de Kolmogorov que les pratiquants ignorent pour une raison quelconque (ou qui est facilement oublié). Il avait une section sur la connexion de la théorie à la réalité. En particulier, il a posé deux conditions pour utiliser la théorie:

• A. Si vous répétez l'expérience plusieurs fois, la fréquence d'occurrence ne différera que très peu de la probabilité, pratiquement certainement
• B. Si la probabilité est très faible, si vous ne menez l'expérience qu'une seule fois, vous pouvez être pratiquement certain que l'événement ne se produira pas.

Il existe différentes interprétations de ces conditions, mais la plupart des gens conviendraient que ce ne sont pas les vues du pur fréquentisme. Kolmogorov a déclaré qu'il suivait l'approche de von Mises dans une certaine mesure, mais il semblait indiquer que les choses n'étaient pas aussi simples qu'il y paraît. Je pense souvent à la condition B, et je ne peux pas en arriver à une conclusion stable, elle est légèrement différente à chaque fois que j'y pense.

Le plus bayésien que je connaisse est Edwin Jaynes , décédé en 1998. Je m'attendrais à trouver d'autres bayésiens "au noyau dur" parmi ses élèves, en particulier le co-auteur à titre posthume de son ouvrage principal, Probability Theory: The Logic of Science , Larry Bretthorst. Harold Jeffreys et Leonard Savage font également partie des Bayesiens historiques remarquables . Bien que je n’ai pas un aperçu complet du domaine, j’ai l’impression que la popularité plus récente des méthodes bayésiennes (en particulier dans l’apprentissage automatique) n’est pas due à une conviction philosophique profonde, mais à la position pragmatique selon laquelle les méthodes bayésiennes se sont révélées utiles dans de nombreux domaines. applications. Je pense que Andrew Gelman est typique de ce poste .

Je ne sais pas qui sont les Bayésiens (bien que je suppose que je devrais avoir une distribution préalable pour cela), mais je sais qui ils ne sont pas.

Pour citer l'éminent Bayésien, maintenant parti, DV Lindley, "il n'y a pas moins de Bayésien qu'un Bayésien empirique". Section bayésienne empirique des méthodes bayésiennes: une approche des sciences sociales et comportementales, Deuxième édition, de Jeff Gill . Cela signifie que même les "fréquentistes" pensent quel modèle a du sens (le choix d’une forme de modèle constitue en quelque sorte un prieur), par opposition aux bayésiens empiriques qui sont totalement mécaniques à propos de tout.

Je pense qu'en pratique, il n'y a pas beaucoup de différence entre les résultats de l'analyse statistique effectuée par les meilleurs Bayésiens et les Fréquentistes. Ce qui est effrayant, c’est quand on voit un statisticien de mauvaise qualité qui essaie de se structurer de manière rigide (jamais observé avec une femme) à partir de son modèle idéologique avec une pureté idéologique absolue et en procédant à une analyse exactement comme il le pensait, mais sans le qualité de la pensée et du jugement du modèle. Cela peut entraîner de très mauvaises analyses et recommandations. Je pense que les idéologues de base, mais de qualité médiocre, sont beaucoup plus répandus chez les Bayésiens que les Fréquentistes. Cela s'applique particulièrement à l'analyse de décision.

Je suis probablement trop en retard dans la discussion pour que quiconque puisse s'en rendre compte, mais je pense qu'il est dommage que personne n'ait souligné le fait que la différence la plus importante entre les approches bayésienne et frequentiste réside dans le fait que les bayésiens utilisent (principalement) des méthodes qui respectent le principe de vraisemblance alors que les frequentists ne le font presque jamais. Le principe de vraisemblance dit que les preuves pertinentes pour le paramètre d'intérêt du modèle statistique sont entièrement contenues dans la fonction de vraisemblance pertinente.

Les Frequentists qui s’intéressent à la théorie statistique ou à la philosophie devraient être beaucoup plus concernés par les arguments sur la validité du principe de vraisemblance que par les arguments sur la distinction entre les interprétations de probabilité fréquente et partielle par conviction, et sur l’opportunité de probabilités antérieures. S'il est possible que différentes interprétations de la probabilité coexistent sans conflit et que certaines personnes choisissent de fournir un préalable sans demander à d'autres de le faire, si le principe de vraisemblance est vrai dans un sens positif ou normatif, de nombreuses méthodes frequentistes perdent alors leurs prétentions. à l'optimalité. Les attaques fréquentistes contre le principe de vraisemblance sont véhémentes parce que ce principe mine leur vision du monde statistique, mais la plupart du temps, ces attaques manquent leur cible ( http://arxiv.org/abs/1507.08394).

Vous pensez peut-être que vous êtes bayésien, mais vous vous trompez probablement ... http://www.rmm-journal.de/downloads/Article_Senn.pdf

Les bayésiens calculent la distribution de probabilité des résultats d'intérêt en fonction de leurs croyances / informations antérieures. La plupart des gens s’intéresseront à cette distribution (et à ses résumés) pour un bayésien. Contrastez-vous avec les résultats "fréquentistes" typiques qui vous indiquent les chances de voir des résultats aussi extrêmes que ceux observés, étant donné que l’hypothèse nulle est vraie ( valeur p) ou des estimations d'intervalle pour le paramètre considéré, dont 95% contiendraient la valeur vraie si vous pouviez effectuer un échantillonnage répété (intervalle de confiance).

Les distributions antérieures bayésiennes sont litigieuses car elles sont VOTRE antérieure. Il n'y a pas de "correct" avant. La plupart des Bayésiens pragmatiques recherchent des preuves externes pouvant être utilisées pour des antécédents, puis les échangent ou les modifient en fonction de ce qui devrait être "raisonnable" dans le cas d'espèce. Par exemple, les priors sceptiques peuvent avoir une "masse" de probabilité sur un cas nul - "Quelle doit être la qualité des données pour me faire changer d’avis / changer les pratiques actuelles?" La plupart se pencheront également sur la robustesse des inférences à différents antécédents.

Il existe un groupe de Bayésiens qui étudient les a priori "de référence" qui leur permettent de construire des inférences qui ne sont pas "influencées" par des croyances antérieures. Ils obtiennent ainsi des énoncés probabilistes et des estimations d'intervalles ayant des propriétés "fréquentistes".

Il existe également un groupe de «Bayésiens hardcore» qui pourraient recommander de ne pas choisir de modèle (tous les modèles sont erronés) et qui pourraient soutenir que l'analyse exploratoire ne peut qu'influencer vos prédécesseurs et ne devrait donc pas être effectuée. Il y a peu de radicaux que ça ...

Dans la plupart des domaines statistiques, vous trouverez des analyses bayésiennes et des praticiens. Juste comme vous trouverez des gens qui préfèrent les non paramétriques ...

Pour aborder votre dernière question (donc je ne cherche pas à gagner un prix!), À propos d'un lien entre une approche bayésienne / frequentiste et sa position épistémologique, l'auteur le plus intéressant que j'ai rencontré est Deborah Mayo. L’ échange de 2010 entre Mayo et Andrew Gelman (qui apparaît ici comme un bayésien quelque peu hérétique) est un bon point de départ . Mayo a par la suite publié une réponse détaillée à l'article de Gelman & Shalizi ici .

Un sous-ensemble de tous les bayésiens, c'est-à-dire les bayésiens qui se sont donné la peine d'envoyer un courrier électronique, est répertorié ici .

J'appellerais Bruno de Finetti et LJ Savage Bayesians. Ils ont travaillé sur ses fondements philosophiques.

Pour comprendre le débat fondamental entre les fréquentistes et les bayésiens, il serait difficile de trouver une voix plus autoritaire que Bradley Efron.

Ce sujet a été un sujet qu’il a abordé à de nombreuses reprises au cours de sa carrière, mais j’ai personnellement trouvé l’un de ses plus anciens articles très utile: Controverses dans les fondements de la statistique (celui-ci a remporté un prix pour l’excellence de son travail).