Quand la normalité asymptotique de la postérieure bayésienne (Bernstein-von Mises) échoue-t-elle?

Considérons la fonction de densité postérieure donnée (comme d'habitude) par avec la densité antérieure et la distribution du observations , conditionnelles à la valeur du paramètre .

Dans certaines conditions, la distribution postérieure est asymptotiquement normale (un résultat connu sous le nom de théorème de Bernstein-von Mises, voir egvd Vaart, Asymptotic Statistics , section 10.2, pour des arguments rigoureux, ou Young & Smith, Essentials of Statistical Inference , section 9.12 , pour une discussion informelle.)

Existe-t-il des exemples (espérons-le élémentaires) dans lesquels le postérieur bayésien n'est pas asymptotiquement normal? En particulier, existe-t-il des exemples où

1. $\pi$ et sont continuellement différenciables par rapport à ?$f$$\theta$
2. $\pi(\theta) > 0$ pour tous ?$\theta$

Un exemple que j'ai noté dans la littérature est que lorsque sont des variables aléatoires de Cauchy indépendantes avec le paramètre d'emplacement . Dans ce cas, avec une probabilité positive, il existe plusieurs maxima locaux de la fonction de vraisemblance (voir Young et Smith, exemple 8.3). Peut-être que cela peut présenter un problème dans le théorème B-vM bien que je ne sois pas sûr.$X_1, \dots, X_n$$\theta$

Mise à jour: Les conditions suffisantes pour le BvM sont (comme indiqué dans vd Vaart, Section 10.2):

• les données sont obtenues à partir d'une distribution avec un paramètre fixe$\theta_0$

• l'expérience est «différenciable en moyenne quadratique» à avec la matrice d'information Fisher non singulière$\theta_0$$I(\theta_0)$

• l'a priori est absolument continu dans une région autour de$\theta_0$

• le modèle est continu et identifiable

• il existe un test qui sépare de pour certains$H_0 : \theta = \theta_0$$H_1 : \|\theta -\theta_0\| \geq \varepsilon$$\varepsilon > 0$

L'exemple de Cauchy contredit-il le théorème de Bernstein von-Mises?

Non. Le théorème de Bernstein von-Mises n'est pas applicable lorsque la distribution conjointe n'a pas de second moment différenciable. Et évidemment, les variables aléatoires conjointes iid Cauchy n'ont même pas de second moment fini. Cette condition nécessite une hypothèse d'énergie bornée sur la variété riemannienne définie par la métrique Rao-Fisher qui n'est pas satisfaite par Cauchys.

Existe-t-il des exemples (espérons-le élémentaires) dans lesquels le postérieur bayésien n'est pas asymptotiquement normal? En particulier, existe-t-il des exemples où sont continuellement différenciables par rapport à ? pour tous ?$\pi,f$$\theta$$\pi(\theta)>0$$\theta$

Oui. En effet, nous pouvons choisir un impropre (non informatif) rendant le postérieur également impropre. Par exemple, est un exemple trivial. Un postérieur incorrect ne peut pas être normal. Par exemple, [Rubio & Steel] (14) a fourni un exemple où Jeffereys a conduit à un mauvais postérieur qui ne peut pas être normal, quelle que soit la taille de l'échantillon.$\pi\propto C_0$$f\propto C_1$

Référence

[Rubio & Steel] Rubio, Francisco J. et Mark FJ Steel. "Inférence dans les modèles en deux parties à l'échelle de l'emplacement avec les a priori de Jeffreys." Analyse bayésienne 9.1 (2014): 1-22.