Liste de situations dans lesquelles une approche bayésienne est plus simple, plus pratique ou plus pratique

Il y a eu beaucoup de débats dans les statistiques entre Bayésiens et fréquentistes. Je trouve généralement cela plutôt rebutant (même si je pense que cela s’est éteint). Par ailleurs, j’ai rencontré plusieurs personnes qui avaient une vision tout à fait pragmatique de la question, affirmant qu’il était parfois plus pratique de procéder à une analyse fréquentiste et parfois plus facile de procéder à une analyse bayésienne. Je trouve cette perspective pratique et rafraîchissante.

Il me semble utile d’avoir une liste de tels cas. Parce qu'il y a trop d'analyses statistiques et que je suppose qu'il est généralement plus pratique d'effectuer une analyse fréquentiste (le codage d'un test t dans WinBUGS est beaucoup plus complexe que l'appel de fonction unique requis pour effectuer la version basée sur le fréquentiste dans R par exemple), il serait bien d’avoir une liste des situations où une approche bayésienne est plus simple, plus pratique et / ou plus pratique qu’une approche fréquentiste.

(Deux réponses qui ne m'intéressent pas sont: "toujours" et "jamais". Je comprends que les gens ont des opinions bien arrêtées, mais s'il vous plaît, ne les diffusez pas ici. Si ce fil de discussion devient un lieu propice aux petites querelles, je supprimerai probablement Mon objectif ici est de développer une ressource qui sera utile à un analyste ayant un travail à faire et non un axe de travail.)

Les gens sont invités à suggérer plus d'un cas, mais veuillez utiliser des réponses séparées pour le faire, afin que chaque situation puisse être évaluée (votée / discutée) individuellement. Les réponses devraient énumérer: (1) quelle est la nature de la situation et (2) pourquoi l'approche bayésienne est plus simple dans ce cas. Certains codes (par exemple, dans WinBUGS) démontrant comment l'analyse serait effectuée et pourquoi la version bayésienne est plus pratique seraient idéaux, mais je m'attends à ce qu'ils soient trop lourds. Si cela peut être fait facilement, je l’apprécierais, mais veuillez indiquer pourquoi de toute façon.

Enfin, je reconnais que je n'ai pas défini ce que cela signifie pour une approche d'être «plus simple» que l'autre. En vérité, je ne suis pas tout à fait sûr de ce que cela signifie pour une approche plus pratique que l’autre. Je suis ouvert à différentes suggestions, précisez simplement votre interprétation lorsque vous expliquez pourquoi une analyse bayésienne est plus pratique dans la situation dont vous parlez.

(1) Dans les contextes où la fonction de vraisemblance est intraitable (au moins numériquement), l’utilisation de l’approche bayésienne, au moyen du calcul bayésien approximatif (ABC), a gagné du terrain par rapport à certains concurrents fréquentistes tels que les vraisemblances composites ( 1 , 2 ). ou la probabilité empirique, car elle tend à être plus facile à mettre en œuvre (pas nécessairement correcte). Pour cette raison, l’utilisation de l’ABC est devenue populaire dans des domaines où il est courant de rencontrer des probabilités insolubles telles que la biologie , la génétique et l’ écologie . Ici, nous pourrions mentionner un océan d’exemples.

Quelques exemples de vraisemblances insolubles sont

• Processus superposés. Cox et Smith (1954) ont proposé un modèle dans le contexte de la neurophysiologie consistant en processus ponctuels superposés. Par exemple, considérons les temps entre les impulsions électriques observées dans une partie du cerveau et émises par plusieurs neurones au cours d'une certaine période. Cet échantillon contient des observations non iid qui rendent difficile la construction de la vraisemblance correspondante, ce qui complique l'estimation des paramètres correspondants. Une solution fréquentiste (partielle) a récemment été proposée dans cet article . La mise en œuvre de l'approche ABC a également été récemment étudiée et peut être trouvée ici .$N$

• La génétique des populations est un autre exemple de modèles conduisant à des vraisemblances intraitables. Dans ce cas, le caractère intraitable a une nature différente: la probabilité est exprimée sous la forme d'une intégrale multidimensionnelle (parfois de dimension ) qu'il faudrait quelques décennies pour l'évaluer en un point unique. Cette zone est probablement le siège de ABC.$1000+$

À mesure que le logiciel Bayesian s'améliore, le problème "plus facile à appliquer" devient sans objet. Les logiciels bayésiens sont de plus en plus emballés. Un exemple récent est tiré d'un article intitulé « L'estimation bayésienne remplace le test t . Le site Web suivant fournit des liens vers l’article et le logiciel: http://www.indiana.edu/~kruschke/BEST/

Un extrait de l'introduction de l'article:

... certaines personnes ont l'impression que les conclusions des méthodes NHST et Bayesiennes tendent à s'accorder dans des situations simples telles que la comparaison de deux groupes: , il n’est vraiment pas nécessaire d’essayer d’appliquer toute la machinerie bayésienne à un problème aussi simple »(Brooks, 2003, p. 2694). Cet article montre, au contraire, que l'estimation paramétrique bayésienne fournit des informations beaucoup plus riches que le test t du NHST et que ses conclusions peuvent différer de celles du test t du NHST. Les décisions basées sur une estimation paramétrique bayésienne sont mieux fondées que celles basées sur NHST, que les décisions dérivées par les deux méthodes soient en accord ou non.

(2) Modèles de résistance au stress. L'utilisation de modèles de résistance à la contrainte est populaire en fiabilité. L'idée de base consiste à estimer le paramètre où et sont des variables aléatoires. Il est intéressant de noter que le calcul de la probabilité de profil de ce paramètre est assez difficile en général (même numériquement), sauf pour certains exemples de jouets tels que le cas exponentiel ou normal. Pour cette raison, il faut envisager des solutions fréquentistes ad hoc telles que la vraisemblance empirique ( voirX Y X Y $\theta=P(X<Y)$$X$$Y$) ou des intervalles de confiance dont la construction est difficile aussi dans un cadre général. Par ailleurs, l’utilisation d’une approche bayésienne est très simple, étant donné que si vous avez un échantillon de la distribution postérieure des paramètres des distributions de et , vous pouvez facilement les transformer en un échantillon de la partie postérieure de .$X$$Y$$\theta$

f ( x , ξ 1 ) F ( x , ξ 1 ) Y g ( y , ξ 2$X$$f(x;\xi_1)$$F(x;\xi_1)$$Y$$g(y;\xi_2)$$G(y;\xi_2)$

$(\xi_1,\xi_2)$$\theta$

$(\xi_1,\xi_2)$$(\star)$$\theta$

Je suis formé aux statistiques fréquentistes (en fait, en économétrie), mais je n’ai jamais eu une attitude conflictuelle à l’égard de l’approche bayésienne, car j’estime que la source philosophique de cette bataille "épique" était fondamentalement mal orientée (j'ai diffusé mon point de vue ici ). En fait, je prévois de me familiariser également à l'approche bayésienne dans un avenir proche.

Pourquoi? Parce que l’un des aspects de la statistique fréquentiste qui me passionne le plus en tant que projet mathématique et conceptuel, il m’inquiète en même temps le plus: les asymptotiques de la taille de l’échantillon. Au moins en économétrie, presque pasUn article sérieux affirme aujourd'hui que l'un des divers estimateurs généralement utilisés dans l'économétrie fréquentiste possède l'une des propriétés souhaitables du "petit échantillon" que nous souhaiterions obtenir d'un estimateur. Ils s'appuient tous sur des propriétés asymptotiques pour justifier leur utilisation. La plupart des tests utilisés n'ont des propriétés souhaitables qu'asymptotiquement ... Mais nous ne sommes plus dans "z-land / t-land": tout l'appareil sophistiqué (et formidable) de l'estimation fréquentiste moderne et de l'inférence est également hautement idiosyncratique, ce qui signifie que parfois, un laaaaaaaaaaaaaaaaaaaa - grand échantillon est en effet nécessaire pour que ces précieuses propriétés asymptotiques émergent et affectent favorablement les estimations dérivées des estimateurs, comme l'ont démontré diverses simulations. Ce qui signifie des dizaines de milliers d'observations - bien qu'elles commencent à être disponibles pour certains domaines d'activité économique (comme le marché du travail ou les marchés financiers), il en existe d'autres (comme la macroéconomie) dans lesquelles ils ne le feront jamais (du moins pendant toute ma vie). Et cela me gêne beaucoup, parce que cela rend vraiment les résultats dérivésincertain (pas seulement stochastique).

L'économétrie bayésienne pour les petits échantillons ne repose pas sur des résultats asymptotiques. "Mais ils s'appuient sur le préalable subjectif !" est la réponse habituelle ... à laquelle, ma réponse simple et pratique est la suivante: "si le phénomène est ancien et étudié auparavant, le prieur peut être estimé à partir de données antérieures. Si le phénomène est nouveau , par quoi d'autre sinon par des arguments subjectifs pouvons-nous commencer la discussion à ce sujet ?

C'est une réponse tardive, j'espère néanmoins qu'elle ajoute quelque chose. J'ai été formé en télécommunication où nous utilisons la plupart du temps l'approche bayésienne.

Voici un exemple simple: Supposons que vous puissiez transmettre quatre signaux possibles: +5, +2,5, -2,5 et -5 volts. L'un des signaux de cet ensemble est transmis, mais le signal est corrompu par le bruit gaussien au moment où il atteint l'extrémité destinataire. En pratique, le signal est également atténué, mais nous allons laisser tomber ce problème pour plus de simplicité. La question est la suivante: si vous êtes à la réception, comment concevez-vous un détecteur qui vous indique lequel de ces signaux a été transmis à l'origine?

Ce problème réside évidemment dans le domaine des tests d'hypothèses. Cependant, vous ne pouvez pas utiliser les valeurs p, car le test de signification peut éventuellement rejeter les quatre hypothèses possibles, et vous savez qu'un de ces signaux a été réellement transmis. Nous pouvons utiliser la méthode de Neyman-Pearson pour concevoir un détecteur, mais cette méthode fonctionne mieux pour les hypothèses binaires. Pour plusieurs hypothèses, il devient trop maladroit de traiter un nombre limité de probabilités de fausse alarme. Une alternative simple est donnée par le test d'hypothèse bayésien. N'importe lequel de ces signaux aurait pu être choisi pour être transmis, de sorte que le prior est équiprobable. Dans de tels cas équiprobables, la méthode consiste à choisir le signal avec le maximum de vraisemblance. On peut donner à cette méthode une belle interprétation géométrique: choisissez le signal qui se trouve être le plus proche du signal reçu. Cela conduit également à la partition de l'espace de décision en un certain nombre de régions de décision, de telle sorte que si le signal reçu tombe dans une région particulière, il est alors décidé que l'hypothèse associée à cette région de décision est vraie. Ainsi, la conception d'un détecteur est rendue facile.

Les tests statistiques dits 'Frequentist' sont généralement équivalents à l'approche bayésienne en principe plus complexe sous certaines hypothèses. Lorsque ces hypothèses sont applicables, l'une ou l'autre approche donnera le même résultat. Il est donc prudent d'utiliser le test Frequentist le plus facile à appliquer. L’approche bayésienne est plus sûre en général car elle rend les hypothèses explicites, mais si vous savez ce que vous faites, le test Frequentist est souvent aussi valable qu’une approche bayésienne et généralement plus facile à appliquer.

(Je vais essayer ce que je pensais être le type de réponse le plus typique.)

Disons que vous avez une situation où il y a plusieurs variables et une réponse, et que vous en savez beaucoup sur la façon dont l'une des variables doit être liée à la réponse, mais pas autant que sur les autres.

Dans une situation comme celle-ci, si vous réalisiez une analyse de régression multiple standard, cette connaissance préalable ne serait pas prise en compte. Une méta-analyse peut ensuite être réalisée, ce qui peut être intéressant pour déterminer si le résultat actuel est conforme aux autres résultats et permettre une estimation légèrement plus précise (en incluant les connaissances antérieures à ce moment-là). Mais cette approche ne permettrait pas à ce que l’on sait de cette variable d’influencer les estimations des autres variables.

Une autre option est qu'il serait possible de coder et d'optimiser votre propre fonction qui fixe la relation avec la variable en question et trouve les valeurs de paramètre des autres variables qui maximisent la vraisemblance des données étant donné cette restriction. Le problème ici est que, bien que la première option ne contraigne pas correctement l'estimation bêta, cette approche la contraint excessivement.

Il est peut-être possible de gréer au jury un algorithme qui traiterait la situation de manière plus appropriée. De telles situations semblent être des candidats idéaux pour l'analyse bayésienne. Toute personne qui ne s’oppose pas dogmatiquement à l’approche bayésienne devrait être disposée à l’essayer dans de tels cas.

Un domaine de recherche dans lequel les méthodes bayésiennes sont extrêmement simples et les méthodes Frequentist sont extrêmement difficiles à suivre est celui de la conception optimale .

$x^{(1)}$$\beta$$x^{(2)}$$\beta$

$\beta$$x^{(i)}$$\hat \beta$$\beta$$\hat \beta$$x^{(i)}$$\beta$

$\beta$$\beta$$x$$x$

Du point de vue bayésien, ce problème est très facile.

1. $\beta$
2. $x$
3. $x$
4. Répétez les étapes 2 et 3 jusqu'à ce que la précision souhaitée soit atteinte.

$x$

L'un des cas les plus simples et communs où l'approche bayésienne est plus facile est la quantification de l'incertitude des paramètres.

Dans cette réponse, je ne fais pas référence à l'interprétation des intervalles de confiance vs intervalles crédibles. Pour le moment, supposons qu'un utilisateur accepte l’une ou l’autre des méthodes.

Cela dit, dans le cadre bayésien, le processus est simple; c'est la variance marginale de la postérieure pour tout paramètre d'intérêt individuel. En supposant que vous puissiez échantillonner à partir du postérieur, prenez simplement vos échantillons et calculez vos variances. Terminé!

Dans le cas de Frequentist, cela n’est généralement direct que dans certains cas et c’est vraiment pénible quand ce n’est pas le cas. Si nous avons un grand nombre d'échantillons par rapport à un petit nombre de paramètres (et qui sait vraiment à quel point il est assez grand), nous pouvons utiliser la théorie MLE pour obtenir des CI. Cependant, ces critères ne sont pas toujours valables, en particulier dans les cas intéressants (modèles à effets mixtes). Parfois, nous pouvons utiliser l'amorçage, mais parfois, nous ne le pouvons pas! Dans les cas où nous ne le pouvons pas, il peut s'avérer très difficile de dériver des estimations d'erreur et nécessite souvent un peu d'intelligence (par exemple, la formule de Greenwood pour dériver les SE des courbes de Kaplan Meier). "Utiliser un peu d'intelligence" n'est pas toujours une recette fiable!