Estimateur MCMC robuste de vraisemblance marginale?

9

J'essaie de calculer la probabilité marginale d'un modèle statistique par les méthodes de Monte Carlo:

F (X) = \int F (X ∣ θ) π (θ) ré θ

$f(x) = \int f(x\mid\theta) \pi(\theta)\, d\theta$

La probabilité est bien comportée - lisse, log-concave - mais de grande dimension. J'ai essayé l'échantillonnage d'importance, mais les résultats sont loufoques et dépendent fortement de la proposition que j'utilise. J'ai brièvement envisagé de faire de l'hamiltonien Monte Carlo pour calculer des échantillons postérieurs en supposant un a priori uniforme sur et en prenant la moyenne harmonique, jusqu'à ce que je voie cela . Leçon apprise, la moyenne harmonique peut avoir une variance infinie. Existe-t-il un estimateur MCMC alternatif qui est presque aussi simple, mais qui a une variance bien comportée? $\theta$

monte-carlo likelihood marginal

— David Pfau
source

Vous pouvez également envisager un échantillonnage de base de Monte Carlo de la précédente.

f (x) = E_{π (θ)} (f (x | θ))

$f(x)=E_{\pi(\theta)}(f(x|\theta))$

— probabilités

1

Voilà une solution possible. Dans ce cas, rappelez-vous que les priors incorrects ne sont plus autorisés et que les priors avec un support très étendu rendront probablement l'approximation de Monte Carlo difficile.

— Zen

1

Un livre complet sur la question est Chen, Shao et Ibrahim (2001) . Vous pouvez également rechercher des mots clés comme l'échantillonnage imbriqué, l'échantillonnage en pont, l'échantillonnage défensif, les filtres à particules, Savage-Dickey.

— Xi'an

8

Que diriez-vous de l' échantillonnage d'importance recuit ? Il présente une variance beaucoup plus faible que l'échantillonnage d'importance régulière. Je l'ai vu appelé «l'étalon-or», et il n'est pas beaucoup plus difficile à mettre en œuvre qu'un échantillonnage d'importance «normale». C'est plus lent dans le sens où vous devez faire un tas de mouvements MCMC pour chaque échantillon, mais chaque échantillon a tendance à être de très haute qualité, donc vous n'en avez pas besoin d'autant avant que vos estimations ne se stabilisent.

L'autre alternative majeure est l'échantillonnage d'importance séquentielle. Mon sentiment est qu'il est également assez simple à mettre en œuvre, mais il nécessite une certaine familiarité avec le Monte Carlo séquentiel (filtrage des particules AKA), ce qui me manque.

Bonne chance!

Modifié pour ajouter : il semble que le billet de blog Radford Neal auquel vous avez lié recommande également l'échantillonnage d'importance reculée. Faites-nous savoir si cela fonctionne bien pour vous.

— David J. Harris
source

2

Cela pourrait aider à faire la lumière sur le calcul de la distribution marginale. De plus, je recommanderais d'utiliser une méthode par le biais des puissances postérieures introduite par Friel et Pettitt . Cette approche semble assez prometteuse, bien qu'elle présente certaines limites. Ou vous pourriez vous approcher de Laplace de la distribution postérieure par la distribution normale: si l'histogramme de MCMC semble symétrique et normal, cela pourrait être une assez bonne approximation.

— Tomas
source