Pourquoi est-il souhaitable d'avoir une faible autocorrélation dans MCMC?

11

Je continue de lire sur la nécessité de vérifier l'autocorrélation dans MCMC. Pourquoi est-il important que l'autocorrélation soit faible? Que mesure-t-il dans le contexte du MCMC?

sampling autocorrelation mcmc

— Amelio Vazquez-Reina
source

3

En fait, si l'on pouvait produire une autocorrélation négative élevée dans un échantillonneur MCMC, cet échantillonneur s'améliorerait par rapport à l'échantillonnage iid. Ceci est cependant un événement très rare ...

— Xi'an

4

L'autocorrélation est une mesure de la corrélation entre la valeur d'un signal et d'autres valeurs de ce signal à différents moments. Dans le contexte de MCMC, l'autocorrélation est une mesure de l'indépendance des différents échantillons de votre distribution postérieure - une autocorrélation plus faible indiquant des résultats plus indépendants.

Lorsque vous avez une autocorrélation élevée, les échantillons que vous avez prélevés ne représentent pas précisément la distribution postérieure et ne fournissent donc pas d'informations significatives pour la solution du problème. En d'autres termes, une autocorrélation plus faible signifie une plus grande efficacité dans vos chaînes et de meilleures estimations. Une règle générale serait que plus votre autocorrélation est faible, moins vous aurez besoin d'échantillons pour que la méthode soit efficace (mais cela pourrait être trop simplificateur).

— Henry Hammond
source

Je n'ai pas beaucoup d'expérience avec MCMC mais votre dernière phrase ne semble pas trop simplifier. Si vous regardez l'effet des auto-corrélations sur vos estimations d'erreur, elles changent la valeur de en où est le temps d'autocorreltion mesuré sur les mêmes observablesIl est donc comme avoir seulement 'mesure efficace' au lieu de . Y a-t-il encore une simplification excessive dans cette déclaration?

Δ A^{²} = \frac{Var A}{N}

$\Delta A^² = \frac{\text{Var} A}{N}$

Δ A^{²} = \frac{Var A}{N} (1 + 2 τ)

$\Delta A^² = \frac{\text{Var} A}{N}(1+2\tau)$

τ

$\tau$

A

$A$

\frac{N}{1 + 2 τ}

$\frac{N}{1+2\tau}$

N

$N$

— apprentissage est un gâchis

10

Premièrement, et le plus évidemment, si l'autocorrélation est élevée, alors N échantillons ne vous donnent pas N informations sur votre distribution mais moins que cela. La taille effective de l'échantillon (ESS) est une mesure de la quantité d'informations que vous obtenez réellement (et est fonction du paramètre d'autocorrélation).

De même, l'autocorrélation vous donne des échantillons non représentatifs «à court terme». De plus, plus il y a d'autocorrélation, plus ce «court terme» est long. Pour une autocorrélation très forte, le court terme peut représenter une bonne fraction du total de vos échantillons. Les remèdes directs habituels sont la re-paramétrisation ou les paramètres d'échantillonnage qui devraient être intercorrélés en blocs plutôt que séparément car ils généreraient sinon une autocorrélation dans la chaîne. Les gens sont également souvent «maigres», bien que l'on discute de leur utilité pour résoudre le problème sous-jacent, par exemple ici . Kass 1997 est une discussion informelle des problèmes, bien qu'il y ait probablement quelque chose de nouveau que d'autres puissent recommander.

En bref, une chaîne fortement autocorrélée prend plus de temps pour passer de ses conditions de départ à la distribution cible que vous souhaitez, tout en étant moins informative et en prenant plus de temps pour explorer cette distribution lorsqu'elle y arrive.

— conjugateprior
source