«Entièrement bayésien» vs «Bayésien»

20

J'ai appris les statistiques bayésiennes et j'ai souvent lu des articles

"nous adoptons une approche bayésienne"

ou quelque chose de similaire. J'ai aussi remarqué, moins souvent:

"nous adoptons une approche entièrement bayésienne"

(c'est moi qui souligne). Y a-t-il une différence entre ces approches dans un sens pratique ou théorique? FWIW, j'utilise le package MCMCglmmen R au cas où cela serait pertinent.

bayesian

— Joe King
source

6

Je ne pense pas que "pleinement bayésien" ait un sens rigoureux.

— Stéphane Laurent

4

@Stephane Je suis à peu près sûr que pleinement bayésien est le même que bayésien, mais l'adjectif est entièrement utilisé pour souligner qu'il ne s'agit pas de Bayes empirique.

— Michael R. Chernick

1

@Michael, cela a du sens, mais je pense toujours que le sens n'est pas universel, et il semble être confirmé par les différentes réponses à la question. Je ne serais pas surpris que certaines personnes disent «entièrement bayésien» pour dire qu'elles utilisent un préalable subjectif et non pas informatif. Une autre situation possible est lorsque les gens utilisent la «distribution prédictive bayésienne-fréquentiste» et passent ensuite à une approche purement bayésienne.

— Stéphane Laurent

@Stephane j'accepte votre jugement. Je pense que vous travaillez dans les statistiques bayésiennes plus que moi et vous avez donc probablement entendu les gens utiliser le terme de diverses manières. Au moins ma réponse est snesible et partiellement juste.

— Michael R. Chernick

@MichaelChernick oui, votre réponse est un exemple d'une approche pseudo-bayésienne vs une vraie approche bayésienne, mais il y a d'autres situations de ce genre

— Stéphane Laurent

19

La terminologie "approche entièrement bayésienne" n'est rien d'autre qu'un moyen d'indiquer que l'on passe d'une approche "partiellement" bayésienne à une "vraie" approche bayésienne, selon le contexte. Ou bien distinguer une approche "pseudo-bayésienne" d'une approche "strictement" bayésienne.

Par exemple, un auteur écrit: "Contrairement à la majorité des autres auteurs intéressés qui ont généralement utilisé une approche empirique Bayes pour la RVM, nous adoptons une approche entièrement bayésienne" car l'approche empirique Bayes est une approche "pseudo-bayésienne". Il existe d'autres approches pseudo-bayésiennes, comme la distribution prédictive bayésienne-fréquentiste (une distribution dont les quantiles correspondent aux limites des intervalles de prédiction fréquentiste).

Dans cette page, plusieurs packages R pour l'inférence bayésienne sont présentés. Le MCMCglmm est présenté comme une "approche entièrement bayésienne" car l'utilisateur doit choisir la distribution préalable, contrairement aux autres packages.

Une autre signification possible du terme «entièrement bayésien» consiste à effectuer une inférence bayésienne dérivée du cadre de la théorie de la décision bayésienne, c'est-à-dire dérivée d'une fonction de perte, car la théorie de la décision bayésienne est un cadre fondamental solide pour l'inférence bayésienne.

— Stéphane Laurent
source

Merci pour ça. merci, donc le package MCMCglmmétant "entièrement bayésien" n'a rien à voir avec l'utilisation de MCMC pour dériver les estimations et serait-il toujours entièrement bayésien si je devais spécifier l'a priori, à partir duquel le postérieur pourrait être trouvé analytiquement? Je suis désolé si ma question n'a pas de sens - je suis toujours débutant, mais j'essaie d'apprendre!

— Joe King

1

MCMC est juste une technique utile pour simuler les distributions postérieures dans les statistiques bayésiennes. Mais cela n'a rien à voir avec l'approche bayésienne elle-même.

— Stéphane Laurent

13

Je pense que la terminologie est utilisée pour faire la distinction entre l'approche bayésienne et l'approche empirique bayésienne. Full Bayes utilise un a priori spécifié tandis que Bayes empirique permet d'estimer le a priori à l'aide de données.

— Michael R. Chernick
source

Merci ! J'ai également vu des «Bayes empiriques» mentionnés ici et là, mais cela n'a jamais surgi dans les choses que j'ai lues, au point où j'ai dû réfléchir sérieusement à ce que cela signifie. Je viens de regarder la page wikipedia qui dit qu'elle est également connue sous le nom de "probabilité marginale maximale", et "une approximation d'un traitement entièrement bayésien d'un modèle bayésien hiérarchique". Hmmm, pour être honnête, je ne comprends pas très bien ce qui est sur cette page :(

— Joe King

@JoeKing Il existe de nombreuses utilisations intéressantes et importantes des méthodes empiriques de Bayes. L'idée remonte à Herbert Robbins dans les années 1960. Dans les années 1970, Efron et Morris ont montré que l'estimateur de James-Stein d'une moyenne normale multivariée et d'autres estimateurs de retrait similaires sont des Bayes empiriques. Dans son nouveau livre sur l'inférence à grande échelle, Brad Efron montre comment les méthodes empiriques de Bayes peuvent être utilisées pour des problèmes parfois appelés petit n grand p car de nombreuses hypothèses sont sur des paramètres testés avec des tailles d'échantillon relativement petites (c'est-à-dire que p peut être beaucoup plus grand thaan n ). Cela vient avec des puces à ADN.

— Michael R. Chernick

1

Merci encore. Je dois admettre que je ne comprends pas tout ce que vous venez d'écrire, mais je vais l'utiliser comme point de départ pour une étude plus approfondie sur cette question.

— Joe King

9

"Bayésien" signifie vraiment "Bayésien approximatif".

«Entièrement bayésien» signifie également «bayésien approximatif», mais avec moins d'approximation.

Edit : Clarification.

p (θ ∣ Data) \propto p (Data ∣ θ) p (θ) .

$p(\theta \mid \text{Data}) \propto p(\text{Data} \mid \theta)p(\theta) \>.$

θ

$\theta$

— Arek Paterek
source

Je vous remercie. J'ai lu ici que le MCMCglmmpackage que j'utilise est entièrement bayésien. Est-ce parce qu'il utilise MCMC avec un paramètre prioritaire?

— Joe King

@Arek, je ne suis vraiment pas convaincu. Donc, quand j'utilise un conjugué standard avant d'être "plus que totalement" bayésien? Et pourquoi prétendez-vous qu'une estimation ponctuelle est moins "précise" que les simulations postérieures?

— Stéphane Laurent

1

@ StéphaneLaurent Je ne prétends pas que l'estimation ponctuelle est toujours moins précise. Où sont les commentaires d'hier sur ma réponse?

— Arek Paterek

1

@ArekPaterek Votre réponse courte ressemblait à une blague et donc les commentaires qui ne s'appliquent pas à votre réponse révisée ne s'appliquent pas à la réponse révisée. Donc, je suppose qu'un modérateur les a probablement supprimés. Appeler toujours approximativement bayésien est déroutant.

— Michael R. Chernick

1

Peut-être que mon premier commentaire non supprimé n'était pas clair. Si la réponse d'Arek était juste, alors comment qualifier la situation lorsqu'il est possible d'avoir la distribution postérieure exacte (comme une simple situation antérieure conjuguée)? Une approche bayésienne "plus que complète"?

— Stéphane Laurent

8

J'utiliserais «entièrement bayésien» pour signifier que tous les paramètres de nuance avaient été marginalisés de l'analyse, plutôt qu'optimisés (par exemple, estimations MAP). Par exemple, un modèle de processus gaussien, avec des hyper-paramètres réglés pour maximiser la vraisemblance marginale, serait bayésien, mais seulement partiellement, alors que si les hyper-paramètres définissant la fonction de covariance étaient intégrés à l'aide d'un hyper-a priori, ce serait entièrement bayésien .

— Dikran Marsupial
source

4

Cela semble être la réponse un peu plus générale. Plus les quantités sont marginalisées plutôt qu'optimisées, plus la solution est «entièrement bayésienne». Empirical Bayes est un cas particulier.

— conjugateprior

Oui, ce n'est qu'une légère extension de la réponse de Michaels; L'optimisation est fondamentalement non bayésienne.

— Dikran Marsupial

3

À titre d'exemple pratique:

Je fais de la modélisation bayésienne en utilisant des splines. Un problème courant avec les splines est la sélection des nœuds. Une possibilité populaire consiste à utiliser un schéma de chaîne de Markov à sauts réversibles Monte Carlo (RJMCMC) où l'on propose d'ajouter, de supprimer ou de déplacer un nœud à chaque itération. Les coefficients des splines sont les estimations des moindres carrés.

Splines de nœuds gratuites

À mon avis, cela ne le rend que `` partiellement bayésien '', car pour une approche `` entièrement bayésienne '', il faudrait placer des valeurs antérieures sur ces coefficients (et de nouveaux coefficients proposés à chaque itération), mais les estimations des moindres carrés ne fonctionnent pas pour le RJMCMC régime, et les choses deviennent beaucoup plus difficiles.

— Glen
source

(+1) Je ne comprends pas votre situation mais il semble s'agir d'une situation d'une approche pseudo-bayésienne

— Stéphane Laurent

1

J'ajouterais une caractérisation qui n'a pas été mentionnée jusqu'à présent. Une approche entièrement bayésienne propage "entièrement" l'incertitude dans toutes les quantités inconnues à travers le théorème de Bayes. En revanche, les approches pseudo-bayes comme les bayésiens empiriques ne propagent pas toutes les incertitudes. Par exemple, lors de l'estimation des quantités prédictives postérieures, une approche entièrement bayésienne utiliserait la densité postérieure des paramètres inconnus du modèle pour obtenir la distribution prédictive du paramètre cible. Une approche EB ne tiendrait pas compte de l'incertitude dans toutes les inconnues - par exemple, certains des hyper-paramètres peuvent être réglés sur des valeurs particulières, sous-estimant ainsi l'incertitude globale.

— user67724
source