Distribution des propositions - Metropolis Hastings MCMC

Dans la chaîne de Metropolis-Hastings Markov Monte Carlo, la distribution de la proposition peut être n'importe quoi, y compris le gaussien (selon Wikipedia).

Q: Quelle est la motivation pour utiliser autre chose que le gaussien? Le gaussien fonctionne, c'est facile à évaluer, c'est rapide et tout le monde le comprend. Pourquoi devrais-je envisager autre chose?

Q: Étant donné que la distribution de la proposition peut être n'importe quoi, puis-je utiliser une distribution uniforme?

— Bonjour le monde
source

A1: En effet, la distribution gaussienne est probablement la distribution de proposition la plus utilisée, principalement en raison de sa facilité d'utilisation. Cependant, on peut vouloir utiliser d'autres distributions de proposition pour la raison suivante

Queues lourdes : La distribution gaussienne a des queues légères. Cela signifie que ne suggérera que des valeurs comprises entre . Mais une distribution a des queues plus lourdes, et peut donc proposer des valeurs plus éloignées. Cela garantit que la chaîne de Markov résultante explore l'espace d'état plus librement et réduit éventuellement l'autocorrélation. Le graphique ci-dessous montre le par rapport au . Vous voyez comment le proposera probablement plus de valeurs plus loin de 0. $N(x_{t-1}, \sigma^2)$ $(x_{t-1} - 3\sigma, x_{t-1} + 3\sigma)$ $t$ $N(0,1)$ $t_1$ $t$

Espace restreint : la distribution gaussienne est définie sur tous les réels. Si la distribution à partir de laquelle vous échantillonnez est, disons, uniquement définie sur les positifs ou sur , alors le gaussien proposera probablement des valeurs pour lesquelles la densité cible est 0. Ces valeurs sont ensuite immédiatement rejetées, et la chaîne de Markov ne bouge pas de son emplacement actuel. Cela gaspille essentiellement un tirage de la chaîne de Markov. Au lieu de cela, si vous êtes sur le positif, vous pouvez utiliser une distribution Gamma et sur vous pouvez utiliser une Bêta. $(0,1)$ $(0,1)$
Modes multiples : Lorsque la distribution cible est multimodale, une proposition gaussienne conduira probablement à la chaîne de Markov coincée près d'un mode. Cela est dû en partie aux queues légères de la gaussienne. Ainsi, au lieu de cela, les gens utilisent des propositions basées sur un gradient ou un mélange de gaussiens comme proposition.

Vous pouvez trouver plus de discussion ici et ici .

A2: Oui, vous pouvez utiliser une distribution uniforme tant que le support de la distribution uniforme est limité (car si le support n'est pas limité, la distribution uniforme est incorrecte car elle s'intègre à ). Donc un uniforme sur . $\infty$ $(x_{t-1} - c, x_{t-1} + c)$

— Greenparker
source

Pouvez-vous clarifier la signification de "l'espace est délimité" dans A2 (notez que l'espace où se trouve le paramètre cible n'a pas besoin d'être limité tant que la chaîne peut se déplacer partout, nécessitant éventuellement plusieurs étapes). Existe il également une faute de frappe dans la mesure où un point d'extrémité a tandis qu'un autre a ?

x_{t - 1}

$x_{t-1}$

x_{t + 1}

$x_{t+1}$

— Juho Kokkala

@JuhoKokkala Correction de la faute de frappe, merci de l'avoir signalé. La distribution uniforme doit être définie sur un espace borné sinon elle ne s'intègre pas à 1 (et s'intègre à ).

\infty

$\infty$

— Greenparker

@Greenparker: vous devez clarifier davantage ce que vous entendez par "l'espace". Le support de la distribution cible peut être illimité, tandis que le support d'une proposition uniforme est limité mais la proposition uniforme correspondante peut toujours produire une chaîne de Markov irréductible sur tout l'espace.

— Xi'an

1. sigma est un paramètre de choix, donc cet argument n'est pas valide. 2. Si vous discutez de la marche aléatoire MH (comme 1. l'indique), ce ne sera qu'un problème à la frontière.

— Hunaphu

@Hunaphu modifie la variance de la proposition, mais pas la structure des queues. Et pouvez-vous développer ce que vous entendez par «ce ne sera qu'un problème à la frontière»?

σ

$\sigma$

— Greenparker