Facteurs de Bayes avec des antérieurs incorrects

J'ai une question concernant la comparaison des modèles à l'aide des facteurs Bayes. Dans de nombreux cas, les statisticiens sont intéressés à utiliser une approche bayésienne avec des a priori impropres (par exemple certains a priori de Jeffreys et a priori de référence).

Ma question est, dans les cas où la distribution postérieure des paramètres du modèle est bien définie, est-il valable de comparer des modèles utilisant des facteurs de Bayes sous l'utilisation de priors incorrects?

À titre d'exemple simple, envisagez de comparer un modèle Normal à un modèle Logistique avec les précédents de Jeffreys.

bayesian model-selection prior

— Jeffrey
source

Un prieur impropre joue le rôle d'un "prieur non informatif". Si vous êtes dans une perspective «sans croyance préalable», vous ne pouvez évidemment pas attribuer une probabilité préalable à un modèle. Cependant, il y a des articles de Berger et d'autres auteurs sur une notion de "facteurs Bayes intrinsèques"; cela ressemble au facteur Bayes avec des prieurs non informatifs mais je ne peux pas en dire plus car je n'ai jamais lu ces articles. Il existe probablement aussi d'autres méthodes de "sélection objective de modèles bayésiens" (taper ces termes dans Google donne plusieurs articles de Berger).

— Stéphane Laurent

@ StéphaneLaurent L'interprétation du prieur sur les paramètres est différente de celle de la probabilité a priori du modèle. Cela peut être vu à partir de l'expression générale du facteur Bayes. Vous pouvez également attribuer des modèles uniformes aux modèles, incorrects avant les paramètres, et voir ce que les données vous indiquent a posteriori .

— Jeffrey

Je recommande la lecture des Critères pour le choix du modèle bayésien avec application à la sélection des variables (AoS, 2012), en particulier le lemme 1. Fondamentalement, des a priori incorrects ne peuvent pas être utilisés pour des paramètres non courants.

Non. Bien que des a priori incorrects puissent convenir à l'estimation des paramètres dans certaines circonstances (en raison du théorème de Bernstein – von Mises ), ils sont un grand non-non pour la comparaison de modèles, en raison de ce que l'on appelle le paradoxe de la marginalisation .

Le problème, comme son nom l'indique, est que la distribution marginale d'une distribution incorrecte n'est pas bien définie. Étant donné une vraisemblance et une précédente : le facteur Bayes nécessite de calculer la vraisemblance marginale : $p_1(x \mid \theta)$ $p_1(\theta)$

p_{1} (x) = \int_{Θ} p_{1} (x ∣ θ) p_{1} (θ) d θ .

$p_1(x) = \int_\Theta p_1(x \mid \theta) p_1(\theta) d \theta .$

Si vous pensez qu'un a priori impropre n'est connu que jusqu'à la proportionnalité (par exemple ), alors le problème est que sera multiplié par une constante inconnue. Dans un facteur Bayes, vous calculez le rapport de quelque chose avec une constante inconnue. $p_1(\theta) \propto 1$ $p_1(x)$

Certains auteurs, notamment ET Jaynes, tentent de contourner ce problème en définissant les prieurs impropres comme la limite d'une séquence de prieurs appropriés: alors le problème est qu'il peut y avoir deux séquences limitantes différentes qui donnent alors des réponses différentes.

— Simon Byrne
source

Merci pour votre réponse. Le problème des constantes de proportionnalité peut être évité en utilisant le même a priori incorrect sur des paramètres communs, tels que les paramètres de localisation et d'échelle, comme mentionné dans The Bayesian Choice pp. 349. Si je comprends bien, le paradoxe de la marginalisation ne s'applique qu'aux prieurs avec un certaine structure.

— Jeffrey

Le problème sera que les cas irréalistes domineront: si vous avez un a priori uniforme sur votre paramètre d'emplacement, vous placerez 100x le poids sur l'intervalle [100,200], comme vous le feriez sur [0,1] (ce qui peut sembler ridicule dans certaines circonstances).

— Simon Byrne

Mais le fait est que les antécédents incorrects ne peuvent pas être interprétés en termes probabilistes. Il n'y a pas un tel poids étant donné que l'interprétation probabiliste du prieur a disparu car elle est incorrecte.

— Jeffrey

Ce n'est pas probabiliste, mais c'est quand même une mesure, vous pouvez donc faire des comparaisons relatives (c'est-à-dire qu'il y a 100x la "masse" sur l'intervalle [100,200] comme il y a sur [0,1]).

— Simon Byrne

Je pense que cette analyse doit être faite sur le postérieur plutôt que sur le antérieur. Par exemple, certains antérieurs correspondants sont incorrects, comme l'Independence Jeffreys pour le cas normal . Vous pouvez appliquer cette interprétation à cet a priori, mais cet a priori produit des intervalles postérieurs avec de grandes propriétés fréquentistes. Dans ce cas, les cas irréalistes ne dominent pas. (Merci pour la discussion, au fait)

π (μ, σ) \propto σ^{- 1}

$\pi(\mu,\sigma)\propto \sigma^{-1}$

— Jeffrey