Distribution des propositions de matrice de covariance

8

Dans une implémentation MCMC de modèles hiérarchiques, avec des effets aléatoires normaux et un Wishart antérieur pour leur matrice de covariance, l'échantillonnage de Gibbs est généralement utilisé.

Cependant, si nous changeons la distribution des effets aléatoires (par exemple, vers Student's-t ou un autre), la conjugaison est perdue. Dans ce cas, quelle serait une distribution de proposition appropriée (c'est-à-dire facilement ajustable) pour la matrice de covariance des effets aléatoires dans un algorithme de Metropolis-Hastings, et quel devrait être le taux d'acceptation cible, là encore 0,234?

Merci d'avance pour tout pointeur.

mcmc hierarchical-bayesian metropolis-hastings

— Décrochage Toka
source

16

Eh bien, si vous cherchez "des pointeurs" ...

La distribution de Wishart (échelonnée) (inverse) est souvent utilisée car elle est conjuguée à la fonction de vraisemblance multivariée et simplifie ainsi l'échantillonnage de Gibbs.

Dans Stan , qui utilise l'échantillonnage hamiltonien de Monte Carlo, il n'y a pas de restriction pour les a priori multivariés. L'approche recommandée est la stratégie de séparation suggérée par Barnard, McCulloch et Meng : où est un vecteur de std devs et est une matrice de corrélation.

Σ = diag_matrix (σ) Ω diag_matrix (σ)

$\Sigma=\text{diag_matrix}(\sigma)\;\Omega\;\text{diag_matrix}(\sigma)$

σ

$\sigma$

Ω

$\Omega$

Les composants de peuvent recevoir n'importe quel préalable raisonnable. Quant à , le prieur recommandé est où "LKJ" signifie Lewandowski, Kurowicka et Joe . Comme $\sigma$ $\Omega$

Ω \sim LKJcorr (ν)

$\Omega\sim\text{LKJcorr}(\nu)$

ν

$\nu$ augmente, l’avant se concentre de plus en plus autour de la matrice de corrélation unitaire,

ν = 1

$\nu=1$ la distribution de corrélation LKJ se réduit à la distribution d'identité sur les matrices de corrélation. Le LKJ prior peut ainsi être utilisé pour contrôler la quantité attendue de corrélation entre les paramètres.

Cependant, je n'ai pas (encore) essayé les distributions d'effets aléatoires non normales, donc j'espère que je n'ai pas raté le point ;-)

— Sergio
source

Cette réponse parle du prieur, le PO pose des questions sur la proposition ... Ces prieurs aident-ils d'une certaine manière le taux d'acceptation?

— Un vieil homme dans la mer.

@Sycorax Qu'en est-il de la proposition que le PO a demandée? que doit-il utiliser et avec quels paramètres?

— Un vieil homme dans la mer.

1

J'utilise personnellement les propositions de Wishart. Par exemple, si je veux une proposition $\Sigma^*$ environ $\Sigma$ , J'utilise:

Σ^{*} \sim W (Σ / une, une),

$\Sigma^* \sim \mathcal{W}(\Sigma/a,a),$ où

a

$a$ est un grand nombre, comme 1000. Avec cette astuce, vous obtiendrez

E [Σ^{*}] = Σ

$E[\Sigma^*]=\Sigma$ et vous pouvez ajuster la variance avec

a

$a$ . Si je ne me trompe pas, le ratio des propositions de

(p \times p)

$(p\times p)$ matrices a une forme fermée:

\frac{q (Σ \to Σ^{*})}{q (Σ^{*} \to Σ)} = {(\frac{| Σ^{*} |}{| Σ |})}^{une - (p - 1) / 2} \cdot e^{[t r ({Σ^{*}}^{- 1} Σ) - t r (Σ^{- 1} Σ^{*})] \cdot une / 2}

$\frac{q(\Sigma\to\Sigma^*)}{q(\Sigma^*\to\Sigma)} = \left(\frac{|\Sigma^*|}{|\Sigma|}\right)^{a-(p-1)/2} \cdot e^{[tr({\Sigma^*}^{-1}\Sigma)-tr({\Sigma}^{-1}\Sigma^*)] \cdot a/2}$

— RemiDav
source

0

Il est bien connu que si vous utilisez des distributions non gaussiennes, la conjugaison du modèle est perdue, voir:

http://www.utstat.toronto.edu/wordpress/WSFiles/technicalreports/0610.pdf

Ensuite, vous devez utiliser d'autres méthodes MCMC, telles que Metropolis dans l'échantillonnage de Gibbs ou une version adaptative de celui-ci. Heureusement, il existe un package R pour le faire:

http://cran.r-project.org/web/packages/spBayes/index.html

Le taux d'acceptation recommandé est de 0,44 mais, bien sûr, certaines hypothèses se cachent derrière ce nombre, tout comme dans le cas du 0,234.

Êtes-vous LE Dimitris Rizopoulos?

— Teco
source

@DimitrisRizopoulos La métropole adaptative avec Gibbs que j'ai mentionnée utilise un mélange fini de distributions gaussiennes comme distribution de proposition (comme indiqué dans le rapport technique que j'ai publié). Si vous utilisez le Metropolis hardcore, alors vous demandez une réponse à la "question à un million de dollars", pour laquelle il n'y a pas de solution générale. En règle générale, vous devez jouer avec différentes propositions et différents taux d'acceptation. Très bon livre, au fait.

— Teco

0

Toute proposition peut être utilisée si vous définissez correctement votre log-postérieur. Il vous suffit d'utiliser quelques astuces pour l'implémenter et définir correctement le support de votre postérieur, voir:

Comment trouver le support de la distribution postérieure pour appliquer l'algorithme MCMC de Metropolis-Hastings?

Il existe des tonnes d'exemples où une proposition gaussienne peut être utilisée pour les postérieurs tronqués. Ce n'est qu'une astuce d'implémentation. Encore une fois, vous posez une question sans solution générale. Certaines propositions ont même des performances différentes pour le même modèle et différents ensembles de données.

Bonne chance.

— Meth
source

Eh bien, compte tenu du fait que la matrice de covariance doit être définie positive, il ne me semble pas logique d'utiliser la distribution des propositions. Les matrices proposées doivent être définitives positives. Une option serait d'avoir comme proposition le conditionnel postérieur de Wishart utilisé dans l'échantillonnage de Gibbs, mais cela ne semble pas fonctionner particulièrement bien quand je suppose un t de Student pour les effets aléatoires. D'où ma question, existe-t-il d'autres types de propositions de matrices de covariance?

— Toka Stall