Rapport de vraisemblance vs facteur Bayes

Je suis plutôt évangélique quant à l'utilisation des ratios de vraisemblance pour représenter l'évidence objective de / contre un phénomène donné. Cependant, j’ai récemment appris que le facteur Bayes remplissait une fonction similaire dans le contexte des méthodes bayésiennes (c’est-à-dire que le préalable subjectif est combiné au facteur objectif de Bayes pour produire un état de conviction subjectif mis à jour de manière objective). J'essaie maintenant de comprendre les différences de calcul et de philosophie entre un rapport de vraisemblance et un facteur de Bayes.

Au niveau des calculs, je comprends que, si le rapport de vraisemblance est généralement calculé à l'aide des vraisemblances représentant le maximum de vraisemblance pour la paramétrisation respective de chaque modèle (estimée par validation croisée ou pénalisée en fonction de la complexité du modèle à l'aide de l'AIC), le facteur de Bayes utilise apparemment les probabilités qui représentent la vraisemblance de chaque modèle intégré sur tout son espace de paramètres (c'est-à-dire pas seulement au niveau de la MLE). Comment cette intégration est-elle réellement réalisée généralement? Essaye-t-on vraiment de calculer la probabilité d'échantillons aléatoires sur des milliers (millions?) De l'espace des paramètres ou existe-t-il des méthodes analytiques permettant d'intégrer la vraisemblance dans l'espace des paramètres? De plus, lors du calcul du facteur Bayes,

Aussi, quelles sont les différences philosophiques entre le rapport de vraisemblance et le facteur Bayes (nb, je ne pose pas de question sur les différences philosophiques entre le rapport de vraisemblance et les méthodes bayésiennes en général, mais le facteur Bayes en tant que représentation des preuves objectives en particulier). Comment pourrait-on caractériser la signification du facteur de Bayes par rapport au rapport de vraisemblance?

likelihood-ratio bayes-factors

— Mike Lawrence
source

Avez-vous considéré l' exemple dans Wikipedia

— Henry

Le livre de Chen, Shao et Ibrahim (2000) est consacré au calcul de Monte-Carlo des facteurs de Bayes.

— Xi'an

Réponses:

Apparemment, le facteur Bayes utilise en quelque sorte des probabilités représentant la vraisemblance de chaque modèle intégré sur l’ensemble de son espace de paramètres (c’est-à-dire pas seulement au niveau de la MLE). Comment cette intégration est-elle réellement réalisée généralement? Essaye-t-on vraiment de calculer la probabilité d'échantillons aléatoires sur des milliers (millions?) De l'espace des paramètres ou existe-t-il des méthodes analytiques permettant d'intégrer la vraisemblance dans l'espace des paramètres?

Premièrement, toute situation dans laquelle vous considérez un terme tel que pour les données et le modèle est considérée comme un modèle de vraisemblance . C’est souvent le fil conducteur de toute analyse statistique, qu’il soit fréquentiste ou bayésien, et c’est la partie que votre analyse est censée suggérer, c’est un bon ou un mauvais ajustement. Les facteurs de Bayes ne font donc rien de fondamentalement différent des ratios de vraisemblance. $P(D|M)$ $D$ $M$

Il est important de placer les facteurs Bayes dans le bon contexte. Par exemple, lorsque vous avez deux modèles et que vous convertissez des probabilités en probabilités, les facteurs Bayes agissent alors comme un opérateur basé sur des convictions antérieures:

P o s t e r je o r O ré ré s = B une y e s F une c t o r * P r je o r O ré ré s

$Posterior Odds = Bayes Factor * Prior Odds$

\frac{P (M_{1} | ré)}{P (M_{2} | ré)} = B . F . \times \frac{P (M_{1})}{P (M_{2})}

$\frac{P(M_{1}|D)}{P(M_{2}|D)} = B.F. \times \frac{P(M_{1})}{P(M_{2})}$

La vraie différence réside dans le fait que les ratios de probabilité sont moins coûteux à calculer et généralement plus faciles à spécifier d'un point de vue conceptuel. La probabilité à la MLE n'est qu'une estimation ponctuelle du numérateur et du dénominateur du facteur de Bayes, respectivement. Comme la plupart des constructions fréquentistes, il peut être considéré comme un cas particulier d'analyse bayésienne avec un préalable artificiel difficile à obtenir. Mais surtout, cela est dû au fait qu’il est analytique et facile à calculer (à l’époque avant l’apparition approximative des approches informatiques bayésiennes).

Au point de calcul, oui: vous évaluerez les différentes intégrales de vraisemblance dans le cadre bayésien avec une procédure de Monte Carlo à grande échelle dans presque tous les cas d’intérêt pratique. Certains simulateurs spécialisés, tels que GHK, fonctionnent si vous supposez certaines distributions et si vous faites ces hypothèses, vous pouvez parfois trouver des problèmes analytiquement traitables pour lesquels des facteurs de Bayes entièrement analytiques existent.

Mais personne ne les utilise. il n'y a aucune raison de Avec les échantillonneurs Metropolis / Gibbs optimisés et d’autres méthodes MCMC, il est tout à fait envisageable d’aborder ces problèmes de manière entièrement informatisée et de calculer numériquement vos intégrales. En fait, on va souvent le faire de manière hiérarchique et intégrer davantage les résultats sur des méta-a priori qui se rapportent aux mécanismes de collecte de données, aux conceptions expérimentales non ignorable, etc.

Je recommande le livre Bayesian Data Analysis pour plus d'informations à ce sujet. Bien que l'auteur, Andrew Gelman, ne semble pas trop se préoccuper des facteurs de Bayes . En passant, je suis d'accord avec Gelman. Si vous allez passer au Bayésien, alors exploitez le postérieur complet. Faire une sélection de modèle avec des méthodes bayésiennes revient à les handicaper, car la sélection de modèle est une forme d'inférence faible et généralement inutile. Si je le pouvais, je préférerais connaître les distributions par rapport aux choix de modèle ... qui se soucie de la quantifier en disant que "le modèle A est meilleur que le modèle B", le cas échéant?

De plus, lors du calcul du facteur Bayes, applique-t-on une correction de la complexité (automatiquement via une estimation croisée de la vraisemblance ou de manière analytique via AIC) comme avec le rapport de vraisemblance?

$M_{1}$ $M_{2}$ $d_{1}$ $d_{2}$ $d_{1} < d_{2}$ $N$

$B_{1,2}$ $M_{1}$ $M_{1}$ $N\to\infty$ $B_{1,2}$ $\infty$

B_{1, 2} = O (N^{\frac{1}{2} ({ré}_{2} - {ré}_{1})})

$B_{1,2} = \mathcal{O}(N^{\frac{1}{2}(d_{2}-d_{1})})$

Je connais bien cette dérivation et la discussion du livre Finite Mixture and Markov Switching Models de Sylvia Frühwirth-Schnatter, mais il existe probablement plus directement des comptes statistiques qui plongent davantage dans l'épistémologie sous-jacente.

Je ne connais pas suffisamment les détails pour les donner ici, mais je pense qu’il existe des liens théoriques assez profonds entre cela et la dérivation de l’AIC. Le livre sur la théorie de l'information de Cover et Thomas y fait au moins allusion.

Aussi, quelles sont les différences philosophiques entre le rapport de vraisemblance et le facteur Bayes (nb, je ne pose pas de question sur les différences philosophiques entre le rapport de vraisemblance et les méthodes bayésiennes en général, mais le facteur Bayes en tant que représentation des preuves objectives en particulier). Comment pourrait-on caractériser la signification du facteur de Bayes par rapport au rapport de vraisemblance?

La section "Interprétation" de l'article de Wikipedia fait un bon travail en ce sens (en particulier le graphique montrant l'échelle de force de la preuve de Jeffreys).

Comme d'habitude, il n'y a pas beaucoup de choses philosophiques au-delà des différences fondamentales entre les méthodes bayésiennes et les méthodes fréquentistes (que vous semblez déjà familières).

L'essentiel est que le rapport de probabilité ne soit pas cohérent au sens de livre néerlandais. Vous pouvez concocter des scénarios où l'inférence de sélection de modèle à partir des ratios de vraisemblance amènera à accepter de perdre des paris. La méthode bayésienne est cohérente, mais fonctionne sur un préalable qui pourrait être extrêmement pauvre et doit être choisi subjectivement. Les compromis .. les compromis ...

FWIW, je pense que ce type de sélection de modèle fortement paramétré n'est pas une très bonne inférence. Je préfère les méthodes bayésiennes et je préfère les organiser de manière plus hiérarchique, et je veux que l'inférence se concentre sur la distribution postérieure complète s'il est techniquement possible de le faire. Je pense que les facteurs bayésiens ont des propriétés mathématiques intéressantes, mais en tant que bayésien, je ne suis pas impressionné par eux. Ils cachent la partie vraiment utile de l'analyse bayésienne, à savoir qu'elle vous oblige à traiter avec vos priors à l'air libre au lieu de les balayer sous le tapis, et vous permet de faire des déductions sur les postérieurs complets.

— ely
source

"Comme d'habitude, il n'y a pas beaucoup de substance philosophique au-delà des différences fondamentales entre les méthodes bayésiennes et les méthodes fréquentistes (que vous semblez déjà familier). L'essentiel est que le test du rapport de vraisemblance ..." Juste un éclaircissement, je ne Pas l’intention de comparer les facteurs de Bayes avec les tests du ratio de vraisemblance , mais avec les ratios de vraisemblance seuls, sans hypothèse nulliste / fréquente.

— Mike Lawrence

Conformément à ma clarification ci-dessus: Par conséquent, il me semble que la grande différence entre les BF et les LR est que, comme vous le dites, le premier corrige automatiquement la complexité, mais nécessite beaucoup de calculs tandis que le dernier nécessite beaucoup moins de calculs, mais nécessite une correction explicite pour la complexité du modèle (soit en utilisant AIC, qui est rapide en calcul, soit en validation croisée, qui est plutôt plus onéreuse en calcul).

— Mike Lawrence

Désolé, le rapport de vraisemblance essai était une faute de frappe, aurait été juste rapport de vraisemblance. Je pense que vous avez principalement raison, mais il vous manque encore l’image plus générale selon laquelle le ratio de probabilité n’est qu’une estimation ponctuelle. Cela ne sera utile que si les distributions de probabilité sous-jacentes se comportent bien jusqu'à une approximation quadratique au voisinage du MLE. Les facteurs de Bayes n'ont pas besoin de se soucier de propriétés de distribution asymptotiques comme celle-ci, elles sont donc plus générales. Il présume l' inférence de sélection de modèle basée sur MLE.

— ely

En d'autres termes, le MLE peut être considéré comme l'estimateur maximum a posteriori (MAP), avec seulement un antécédent incorrect (lorsque l'intégration le permet), et le MAP est une estimation ponctuelle plus convaincante, car elle intègre des informations antérieures. Au lieu de simplement choisir le mode postérieur ... pourquoi ne pas combiner toutes les valeurs du postérieur en fonction de leur probabilité antérieure? Cela ne vous donnera pas une estimation ponctuelle des paramètres, mais le plus souvent, les gens ne souhaitent pas vraiment une estimation ponctuelle. Les distributions sur les paramètres sont toujours plus utiles que les estimations ponctuelles lorsque vous pouvez vous permettre de les obtenir

— le

Pour comprendre la différence entre les ratios de vraisemblance et les facteurs de Bayes, il est utile d'examiner plus en détail une caractéristique clé des facteurs de Bayes:

Comment les facteurs Bayes parviennent-ils à rendre compte automatiquement de la complexité des modèles sous-jacents?

L'un des points de vue sur cette question consiste à envisager des méthodes d'inférence déterministe approximative. Variational Bayes est une de ces méthodes. Cela peut non seulement réduire considérablement la complexité de calcul des approximations stochastiques (par exemple, l'échantillonnage MCMC). Variation Bayes fournit également une compréhension intuitive de ce qui constitue un facteur Bayes.

Rappelons tout d’abord qu’un facteur de Bayes est basé sur les preuves de modèle de deux modèles concurrents,

\begin{aligned} B F_{1, 2} = \frac{p (Les données | M_{1})}{p (Les données | M_{2})}, \end{aligned}

$\begin{align} BF_{1,2} = \frac{p(\textrm{data} \mid M_1)}{p(\textrm{data} \mid M_2)}, \end{align}$

où les preuves du modèle individuel devraient être calculées par une intégrale compliquée:

\begin{aligned} p (Les données | M_{je}) = \int p (Les données | θ, M_{je}) p (θ | M_{je}) ré θ \end{aligned}

$\begin{align} p(\textrm{data} \mid M_i) = \int p(\textrm{data} \mid \theta,M_i ) \ p(\theta \mid M_i) \ \textrm{d}\theta \end{align}$

$p(\theta \mid \textrm{data}, M_i)$

$q(\theta)$ $p(\theta \mid \textrm{data},M_i)$

$\mathcal{F}$

\begin{aligned} F = bûche p (Les données | M_{je}) - KL [q (θ) | | p (θ | Les données, M_{je})] \end{aligned}

$\begin{align} \mathcal{F} = \textrm{log} \; p(\textrm{data} \mid M_i) - \textrm{KL}\left[q(\theta) \; || \; p(\theta \mid \textrm{data},M_i) \right] \end{align}$

$q(\theta) \approx p(\theta \mid \textrm{data},M_i)$ $\mathcal{F}$

Nous pouvons maintenant revenir à la question initiale de savoir comment un facteur de Bayes équilibre automatiquement la qualité de l'ajustement et la complexité des modèles impliqués. Il s’avère que l’énergie libre négative peut être réécrite comme suit:

\begin{aligned} F = {⟨ p (Les données | θ, M_{je}) ⟩}_{q} - KL [q (θ) | | p (θ | M_{je})] \end{aligned}

$\begin{align} \mathcal{F} = \left\langle p(\textrm{data} \mid \theta,M_i) \right\rangle_q - \textrm{KL}\left[ q(\theta) \; || \; p(\theta \mid M_i) \right] \end{align}$

Le premier terme est la log-vraisemblance des données attendues approximativement à posteriori; il représente la qualité de l'ajustement (ou de la précision ) du modèle. Le second terme est la divergence KL entre l'approximatif postérieur et l'antérieur; il représente la complexité du modèle, étant donné qu'un modèle plus simple correspond à nos croyances antérieures, ou qu'un modèle plus simple n'a pas besoin d'être autant étiré pour prendre en charge les données.

L’approximation en énergie libre des preuves du modèle de log montre que les preuves du modèle intègrent un compromis entre la modélisation des données (c’est-à-dire la qualité de l’ajustement) et le maintien de la cohérence avec nos données antérieures (simplicité ou complexité négative).

Un facteur de Bayes (par opposition à un rapport de vraisemblance) indique donc lequel des deux modèles concurrents est le mieux à même de fournir une explication simple mais précise des données.

— Kay Brodersen
source