Quel est le lien entre la chaîne Markov et la chaîne Markov Monte Carlo

15

J'essaie de comprendre les chaînes de Markov en utilisant SAS. Je comprends qu'un processus de Markov est un processus dans lequel l'état futur dépend uniquement de l'état actuel et non de l'état passé et il existe une matrice de transition qui capture la probabilité de transition d'un état à un autre.

Mais je suis tombé sur ce terme: Markov Chain Monte Carlo. Ce que je veux savoir, c'est si Markov Chain Monte Carlo est lié de quelque façon au processus de Markov que je décris ci-dessus?

— Victor
source

9

Eh bien, oui, il y a une relation entre les deux termes car les tirages de MCMC forment une chaîne de Markov. De Gelman, Bayesian Data Analysis (3e éd.), P. 265:

La simulation de chaîne de Markov (également appelée chaîne de Markov Monte Carlo ou MCMC) est une méthode générale basée sur le dessin de valeurs de partir de distributions appropriées, puis en corrigeant ces tirages pour mieux approcher la distribution postérieure cible, . L'échantillonnage se fait séquentiellement, la distribution des tirages échantillonnés dépendant de la dernière valeur tirée; par conséquent, les tirages forment une chaîne de Markov. $\theta$ $p(\theta|y)$

— Sycorax dit de réintégrer Monica
source

Umm ok, mais pourquoi dois-je prélever des échantillons aléatoires pour former un processus markov, il y a tellement d'autres types de processus comme normal, bernoulli, possion etc.

— Victor

2

@Victor Je pense que vous avez perdu de vue le cas d'utilisation de MCMC. Nous utilisons MCMC dans les statistiques bayésiennes lorsqu'il n'y a pas de forme analytique de la distribution postérieure.

— Sycorax dit Réintégrer Monica

3

+1 Les statistiques bayésiennes sont peut-être l'application la plus évidente de MCMC (où la distribution cible est une articulation postérieure) mais pas la seule possible.

— Glen_b -Reinstate Monica

18

Le lien entre les deux concepts est que les méthodes de la chaîne de Markov Monte Carlo (aka MCMC) s'appuient sur la théorie de la chaîne de Markov pour produire des simulations et des approximations de Monte Carlo à partir d'une distribution cible complexe . $\pi$

$X_1,\ldots,X_N$ $X_i$ $\{X_{i-1},\ldots,X_1\}$ $X_{i-1}$

X_{i} = f (X_{i - 1}, ϵ_{i})

$X_i=f(X_{i-1},\epsilon_i)$

f

$f$

π

$\pi$

ϵ_{i}

$\epsilon_i$

X_{i}

$X_i$

π

$\pi$

i

$i$

\infty

$\infty$

L'exemple le plus simple d'un algorithme MCMC est l'échantillonneur de tranches : à l'itération i de cet algorithme, faites

$\epsilon^1_i\sim\mathrm{U}(0,1)$

$X_{i}\sim\mathrm{U}(\{x;\pi(x)\ge\epsilon^1_i\pi(X_{i-1})\})$ $\epsilon^2_i$

$\mathrm{N}(0,1)$

$\epsilon^1_i\sim\mathrm{U}(0,1)$

$X_{i}\sim\mathrm{U}(\{x;x^2\le-2\log(\sqrt{2\pi}\epsilon^1_i\})$ $X_i=\pm \epsilon_i^2\{-2\log(\sqrt{2\pi}\epsilon^1_i)\varphi(X_{i-1})\}^{1/2}$ $\epsilon_i^2\sim\mathrm{U}(0,1)$

ou en R

T=1e4
x=y=runif(T) #random initial value
for (t in 2:T){
  epsilon=runif(2)#uniform white noise 
  y[t]=epsilon[1]*dnorm(x[t-1])#vertical move       
  x[t]=sample(c(-1,1),1)*epsilon[2]*sqrt(-2*#Markov move from
        log(sqrt(2*pi)*y[t]))}#x[t-1] to x[t]

$\mathrm{N}(0,1)$ $(X_i)$

$(X_i,\epsilon^1_i\pi(X_i))$

curve(dnorm,-3,3,lwd=2,col="sienna",ylab="")
for (t in (T-100):T){
lines(rep(x[t-1],2),c(y[t-1],y[t]),col="steelblue");
lines(x[(t-1):t],rep(y[t],2),col="steelblue")}

qui suit les mouvements verticaux et horizontaux de la chaîne de Markov sous la courbe de densité cible.

— Xi'an
source