Échantillonnage de Gibbs par rapport au MH-MCMC général

20

Je viens de faire quelques lectures sur l'échantillonnage de Gibbs et l'algorithme de Metropolis Hastings et j'ai quelques questions.

Si je comprends bien, dans le cas de l'échantillonnage de Gibbs, si nous avons un problème multivarié important, nous échantillonnons à partir de la distribution conditionnelle, c'est-à-dire échantillonnons une variable tout en gardant toutes les autres fixes tandis qu'en MH, nous échantillonnons à partir de la distribution conjointe complète.

Une chose que le document a dit est que l'échantillon proposé est toujours accepté dans Gibbs Sampling, c'est-à-dire que le taux d'acceptation de la proposition est toujours 1. Pour moi, cela semble être un grand avantage car pour les gros problèmes multivariés, il semble que le taux de rejet pour l'algorithme MH devienne assez grand. . Si tel est effectivement le cas, quelle est la raison derrière ne pas utiliser Gibbs Sampler tout le temps pour générer la distribution postérieure?

— Luca
source

11

Une proposition MH multivariée bien construite peut largement surpasser l'échantillonnage de Gibbs, même lorsque l'échantillonnage à partir des conditions est possible (par exemple, normal multivarié de haute dimension, la HMC bat Gibbs d'une large marge lorsque les variables sont fortement corrélées). En effet, l'échantillonnage de Gibbs ne permet pas aux variables d'évoluer conjointement. C'est en quelque sorte analogue à l'optimisation d'une fonction en optimisant de manière itérative les arguments individuels - vous pouvez faire mieux si vous optimisez tous les arguments conjointement plutôt que chacun successivement, même s'il est plus facile de le faire.

— mec

Metropolis-Hastings peut échantillonner en utilisant des propositions pour un conditionnel. Parlez-vous d'un type particulier de MH?

— Glen_b -Reinstate Monica

1

Merci pour le commentaire. Non, je pensais simplement en général pourquoi Gibbs Sampler n'est pas utilisé plus fréquemment. avait manqué le fait que le formulaire de distribution conditionnelle doit être connu a priori pour l'échantillonnage de Gibbs. Pour mes besoins actuels, il semble qu'une combinaison fonctionne mieux. Donc, utilisez une étape MH pour un sous-ensemble des paramètres tout en gardant les autres constants, puis utilisez Gibbs pour l'autre sous-ensemble (où les conditions sont faciles à évaluer analytiquement). Je ne fais que commencer, donc je ne suis pas encore au courant des différents types de MH. Tout conseil à ce sujet est apprécié :-)

— Luca

12

la principale justification de l'utilisation de l'algorithme de Metropolis réside dans le fait que vous pouvez l'utiliser même lorsque le postérieur résultant est inconnu. Pour l'échantillonnage de Gibbs, vous devez connaître les distributions postérieures dont vous tirez les variations.

— user3777456
source

1

Merci pour la réponse! Donc, avec GS, l'idée est que les conditions sont des distributions plus simples qui peuvent être échantillonnées assez facilement tandis que la distribution conjointe, bien que connue, pourrait être une distribution compliquée qui est difficile à échantillonner?

— Luca

2

Oui c'est vrai. Souvent, cependant, l'échantillonnage de Gibbs et le Metropolis sont utilisés conjointement. Ainsi, le conditionnement de certaines variables peut vous donner une forme postérieure fermée, tandis que pour d'autres, cela n'est pas possible et vous devez utiliser une "étape Metropolis". Dans ce cas, vous devez décider pour quel type d'échantillonneur Metropolis (indépendance, marche aléatoire) vous optez et quelle densité de proposition type vous utilisez. Mais je suppose que cela va un peu trop loin et vous devriez d'abord lire ce genre de choses par vous-même.

— user3777456

3

L'échantillonnage de Gibbs brise la malédiction de la dimensionnalité dans l'échantillonnage puisque vous avez divisé l'espace des paramètres (éventuellement de dimension élevée) en plusieurs étapes de faible dimension. Metropolis-Hastings atténue certains des problèmes dimensionnels liés à la génération de techniques d'échantillonnage de rejet, mais vous échantillonnez toujours à partir d'une distribution multivariée complète (et décidez d'accepter / rejeter l'échantillon), ce qui fait que l'algorithme souffre de la malédiction de la dimensionnalité.

Pensez-y de cette manière simplifiée: il est beaucoup plus facile de proposer une mise à jour pour une variable à la fois (Gibbs) que pour toutes les variables simultanément (Metropolis Hastings).

Cela étant dit, la dimensionnalité de l'espace des paramètres affectera toujours la convergence dans Gibbs et Metropolis Hastings car il y a plus de paramètres qui pourraient ne pas converger.

Gibbs est également agréable car chaque étape de la boucle Gibbs peut être sous forme fermée. C'est souvent le cas dans les modèles hiérarchiques où chaque paramètre n'est conditionné que par quelques autres. Il est souvent assez simple de construire votre modèle pour que chaque étape de Gibbs soit sous forme fermée (lorsque chaque étape est conjuguée, elle est parfois appelée "semi-conjugué"). C'est bien parce que vous échantillonnez à partir de distributions connues qui peuvent souvent être très rapides.

— TrynnaDoStat
source

"L'échantillonnage de Gibbs brise la malédiction de la dimensionnalité de l'échantillonnage": en fait, l'échantillonnage de Gibbs a tendance à faire bien pire que quelque chose comme Metropolis Hastings avec une matrice de covariance de proposition adaptative.

— Cliff AB