Calcul de la vraisemblance marginale à partir d'échantillons MCMC

C'est une question récurrente (voir cet article , cet article et cet article ), mais j'ai un tour différent.

Supposons que j'ai un tas d'échantillons d'un échantillonneur MCMC générique. Pour chaque échantillon , je connais la valeur du log vraisemblance et du log prior . Si cela aide, je connais également la valeur de la vraisemblance du journal par point de données, (ces informations aident avec certaines méthodes, telles que WAIC et PSIS-LOO).log f ( x | θ ) log f ( θ ) log f ( x i | θ $\theta$$\log f(\textbf{x} | \theta)$$\log f(\theta)$$\log f(x_i | \theta)$

Je veux obtenir une estimation (brute) de la probabilité marginale, juste avec les échantillons que j'ai, et éventuellement quelques autres évaluations de fonctions (mais sans relancer un MCMC ad hoc ).

Tout d'abord, effaçons le tableau. Nous savons tous que l'estimateur harmonique est le pire estimateur de tous les temps . Allons-nous en. Si vous faites un échantillonnage de Gibbs avec des prieurs et des postérieurs sous forme fermée, vous pouvez utiliser la méthode de Chib ; mais je ne sais pas comment généraliser en dehors de ces cas. Il existe également des méthodes qui vous obligent à modifier la procédure d'échantillonnage (par exemple via des postérieurs trempés ), mais cela ne m'intéresse pas ici.

L'approche à laquelle je pense consiste à approximer la distribution sous-jacente avec une forme paramétrique (ou non paramétrique) , puis à déterminer la constante de normalisation comme un problème d'optimisation 1-D (c'est-à-dire le qui minimise certaines erreurs) entre et , évalué sur les échantillons). Dans le cas le plus simple, supposons que le postérieur soit à peu près normal à plusieurs variables, je peux adapter comme une normale à plusieurs variables et obtenir quelque chose de similaire à une approximation de Laplace (je pourrais vouloir utiliser quelques évaluations de fonctions supplémentaires pour affiner la position de la mode). Cependant, je pourrais utiliser commeZ Z Z g ( θ ) f ( x | θ ) f ( θ ) g ( θ ) g ( θ $g(\theta)$$Z$$Z$$Z g(\theta)$$f(\textbf{x}|\theta) f(\theta)$$g(\theta)$$g(\theta)$une famille plus flexible telle qu'un mélange variationnel de distributions multivariées .$t$

J'apprécie que cette méthode ne fonctionne que si est une approximation raisonnable de , mais toute raison ou mise en garde expliquant pourquoi il serait très imprudent de fais le? Une lecture que vous recommanderiez?f ( x | θ ) f ( θ $Z g(\theta)$$f(\textbf{x}|\theta) f(\theta)$

L'approche entièrement non paramétrique utilise une famille non paramétrique, comme un processus gaussien (GP), pour approximer (ou une autre transformation non linéaire de celui-ci, telle que comme racine carrée) et la quadrature bayésienne à intégrer implicitement sur la cible sous-jacente (voir ici et ici ). Cela semble être une approche alternative intéressante, mais analogue dans l'esprit (notez également que les généralistes seraient difficiles à manier dans mon cas).$\log f(\textbf{x}|\theta) + \log f(\theta)$

L'extension de Chib et Jeliazkov (2001) devient malheureusement rapidement coûteuse ou très variable, ce qui explique pourquoi elle n'est pas très utilisée en dehors des cas d'échantillonnage de Gibbs.

Bien qu'il existe de nombreuses façons et approches pour résoudre le problème d'estimation de la constante de normalisation (comme l'illustrent les discussions assez diverses de l' atelier d'estimation des constantes que nous avons organisé la semaine dernière à l'Université de Warwick, des diapositives y sont disponibles ), certaines solutions exploitent directement la sortie MCMC .$\mathfrak{Z}$

1. Comme vous l'avez mentionné, l'estimateur de la moyenne harmonique de Newton et Raftery (1994) est presque toujours médiocre pour avoir une variance infinie. Cependant, il existe des moyens d'éviter la malédiction de variance infinie en utilisant à la place une cible de support fini dans l'identité moyenne harmonique en choisissantαcomme indicateur d'une région HPD pour la partie postérieure. Cela garantit une variance finie en supprimant les queues dans la moyenne harmonique. (Les détails se trouvent dansun article que j'ai écrit avec Darren Wraithet dans unchapitre sur la normalisation des constantesécrit avec Jean-Michel Marin.) En bref, la méthode recycle la sortie MCMCθ1,…,θMen identifiant leβ( 20% disent) les plus grandes valeurs de la cibleπ(θ)f(x|θ)et créant

   $$\int \dfrac{\alpha(\theta)}{\pi(\theta)f(x|\theta)}\text{d}\pi(\theta|x)=\frac{1}{\mathfrak{Z}}$$ $\alpha$$\theta_1,\ldots,\theta_M$$\beta$$\pi(\theta)f(x|\theta)$$\alpha$comme simulations uniforme sur l'union des billes centré à celles plus grande densité (HPD) et de rayon ρ , ce qui signifie l'estimation de la constante de normalisation Z est donnée par Z - 1 = $\theta^0_i$$\rho$$\mathfrak{Z}$ sidest la dimension deθ(les corrections s'appliquent pour les boules qui se croisent) et siρest suffisamment petit pour que les boules ne se coupent jamais (ce qui signifie qu'au mieux un seul indicateur sur les boules est différent de zéro). L'explication dudénominateurαM2est qu'il s'agit d'une double somme determesβM2: $$\hat{\mathfrak{Z}}^{-1}=\underbrace{\frac{1}{\beta M^2}\sum_{m=1}^M}_{\text{double sum over}\\\beta M\text{ ball centres }\theta_i^0\\\text{and $M$ simulations } \theta_m} \underbrace{\mathbb{I}_{(0,\rho)}(\min_i||\theta_m-\theta^0_i||)\{\pi(\theta_m)f(x|\theta_m)\}^{-1}\big/\overbrace{\pi^{d/2}\rho^d\Gamma(d/2+1)^{-1}}^{\text{volume of ball with radius $\rho$}}}_{\dfrac{\beta M\alpha(\theta_m)}{\pi(\theta_m)f(x|\theta_m)}}$$ $d$$\theta$$\rho$$\alpha M^2$$\beta M^2$ avec chaque terme dansθmintégrant àZ-1. $$\frac{1}{\beta M}\sum_{i=1}^{\beta M} \underbrace{\frac{1}{M}\sum_{m=1}^M {\cal U}(\theta_i^0,\rho)(\theta_m)}_{\text{same as with $\min$}} \times \frac{1}{\pi(\theta_m)f(x|\theta_m)}$$ $\theta_m$${\mathfrak{Z}}^{-1}$

2. $\mathfrak{Z}$

   $$\sum_{i=1}^n f(x_i|\theta) - n \log \int \exp f(x|\theta) \text{d}x$$ $$\sum_{i=1}^n[f(x_i|\theta)+\nu]-n\int\exp[f(x|\theta)+\nu]\text{d}x$$ which is the log-likelihood of a Poisson point process with intensity function $$\exp\{ f(x|\theta) + \nu +\log n\}$$ This is an alternative model in that the original likelihood does not appear as a marginal of the above. Only the modes coincide, with the conditional mode in ν providing the normalising constant. In practice, the above Poisson process likelihood is unavailable and Guttmann and Hyvärinen (2012) offer an approximation by means of a logistic regression. To connect even better with your question, Geyer's estimate is a MLE, hence solution to a maximisation problem.
3. A connected approach is Charlie Geyer's logistic regression approach. The fundamental notion is to add to the MCMC sample from $\pi(\theta|x)$ another sample from a known target, e.g., your best guess at $\pi(\theta|x)$, $g(\theta)$, and to run logistic regression on the index of the distribution behind the data (1 for $\pi(\theta|x)$ and 0 for $g(\theta)$). With the regressors being the values of both densities, normalised or not. This happens to be directly linked with Gelman and Meng (1997) bridge sampling, which also recycles samples from different targets. And later versions, like Meng's MLE.
4. A different approach that forces one to run a specific MCMC sampler is Skilling's nested sampling. While I [and others] have some reservations on the efficiency of the method, it is quite popular in astrostatistics and cosmology, with software available like multinest.
5. A last [potential if not always possible] solution is to exploit the Savage-Dickey representation of the Bayes factor in the case of an embedded null hypothesis. If the null writes as $H_0: \theta=\theta_0$ about a parameter of interest and if $\xi$ is the remaining [nuisance] part of the parameter of the model, assuming a prior of the form $\pi_1(\theta)\pi_2(\xi)$, the Bayes factor of $H_0$ against the alternative writes as $$\mathfrak{B}_{01}(x)=\dfrac{\pi^\theta(\theta_0|x)}{\pi_1(\theta_0)}$$ where $\pi^\theta(\theta_0|x)$ denotes the marginal posterior density of $\theta$ at the specific value $\theta_0$. In case the marginal density under the null $H_0: \theta=\theta_0$ $$m_0(x)=\int_\Xi f(x|\theta_0,\xi)\pi_2(\xi)\text{d}\xi$$ is available in closed form, one can derive the marginal density for the unconstrained model $$m_a(x)=\int_{\Theta\times\Xi} f(x|\theta,\xi)\pi_1(\theta)\pi_2(\xi)\text{d}\theta\text{d}\xi$$ from the Bayes factor. (This Savage-Dickey representation relies on specific versions of three different densities and so is fraught with danger, not even mentioning the computational challenge of producing the marginal posterior.)

[Here is a set of slides I wrote about estimating normalising constants for a NIPS workshop last December.]