Théorème de limite centrale pour les chaînes de Markov

$\newcommand{\E}{\mathbb{E}}$ $\newcommand{\P}{\mathbb{P}}$ Le théorème de la limite centrale (CLT) indique que pour indépendants et répartis de manière identique (iid) avec et , la somme converge vers une distribution normale comme : $X_1,X_2,\dots$ $\E[X_i]=0$ $\operatorname{ Var} (X_i)<\infty$ $n\to\infty$

\sum_{i = 1}^{n} X_{i} \to N (0, \sqrt{n}) .

$\sum_{i=1}^n X_i \to N\left(0, \sqrt{n}\right).$

Supposons plutôt que forment une chaîne de Markov à états finis avec une distribution stationnaire avec l'espérance 0 et la variance bornée. Existe-t-il une simple extension de CLT pour ce cas? $X_1,X_2,\dots$ $\P_\infty$

Les articles que j'ai trouvés sur CLT for Markov Chains traitent généralement des cas beaucoup plus généraux. Je vous serais très reconnaissant de bien vouloir indiquer le résultat général pertinent et d'expliquer comment il s'applique.

markov-process central-limit-theorem

— tom4everitt
source

L'article de Lin et Tegmark, Critical Behavior from Deep Dynamics, explique en détail les "limites * des processus et de l'analyse de Markov ... disponibles ici ... ai2-s2-pdfs.s3.amazonaws.com/5ba0/…

— Mike Hunter

Réponses:

La réponse d'Alex R. est presque suffisante, mais j'ajoute quelques détails supplémentaires. Dans le théorème de la limite centrale de la chaîne de Markov - Galin L. Jones , si vous regardez le théorème 9, il dit:

Si est une chaîne de Markov ergodique de Harris avec une distribution stationnaire , alors un CLT est valable pour si est uniformément ergodique et . $X$ $\pi$ $f$ $X$ $E[f^2] < \infty$

Pour les espaces d'états finis, toutes les chaînes de Markov irréductibles et apériodiques sont uniformément ergodiques. La preuve de cela implique une expérience considérable dans la théorie de la chaîne de Markov. Une bonne référence serait la page 32, au bas du théorème 18 ici .

Par conséquent, la chaîne de Markov CLT serait valable pour toute fonction ayant un second moment fini. La forme que prend le CLT est décrite comme suit. $f$

Soit l'estimateur à moyenne temporelle de , puis comme le souligne Alex R., comme , $\bar{f}_n$ $E_{\pi}[f]$ $n \to \infty$

{\bar{f}}_{n} = \frac{1}{n} \sum_{i = 1}^{n} f (X_{i}) \overset{a.s.}{\to} E_{π} [f] .

$\bar{f}_n = \frac{1}{n} \sum_{i=1}^n f(X_i) \overset{\text{a.s.}}{\to} E_\pi[f].$

La chaîne de Markov CLT est

\sqrt{n} ({\bar{f}}_{n} - E_{π} [f]) \overset{d}{\to} N (0, σ^{2}),

$\sqrt{n} (\bar{f}_n - E_\pi[f]) \overset{d}{\to} N(0, \sigma^2),$

où

σ^{2} = \underset{Expected term}{\underset{⏟}{{Var}_{π} (f (X_{1}))}} + \underset{Term due to Markov chain}{\underset{⏟}{2 \sum_{k = 1}^{\infty} {Cov}_{π} (f (X_{1}), f (X_{1 + k}))}} .

$\sigma^2 = \underbrace{\operatorname{Var}_\pi(f(X_1))}_\text{Expected term} + \underbrace{2 \sum_{k=1}^\infty \operatorname{Cov}_\pi(f(X_1), f(X_{1+k}))}_\text{Term due to Markov chain}.$

Une dérivation pour le terme peut être trouvée sur la page 8 et la page 9 des notes MCMC de Charles Geyer ici $\sigma^2$

— Greenparker
source

Merci, c'est très clair! Existe-t-il un argument simple pour expliquer pourquoi les chaînes de Markov à état fini, irréductibles et apériodiques sont uniformément ergodiques? (pas que je ne te fasse pas confiance ^^).

— tom4everitt

@ tom4everitt Malheureusement, la définition de "facile" est subjective. Si vous connaissez les conditions de dérive et de minéralisation des chaînes de Markov, l'argument est facile. Sinon, ce serait un long argument. Je vais essayer de trouver une référence à la place. Cela pourrait prendre un certain temps.

— Greenparker

Ce serait génial. Si vous n'en trouvez pas, quelques phrases faisant allusion aux principales étapes seraient toujours utiles.

— tom4everitt

@ tom4everitt Ajout d'une référence à la réponse. J'espère que cela suffit.

— Greenparker

@Greenparker Puis-je vous demander de l'aide pour comprendre comment la variance de votre réponse est dérivée. J'ai regardé la référence dans votre réponse, mais je n'y ai trouvé aucune dérivation. J'ai une source, MC pour MCsist, mais je ne comprends pas bien comment elle est dérivée là-bas. Autrement dit, comment le terme dérivé? Je vous remercie!

σ^{2}

$\sigma^2$

— LeastSquaresWonderer

Le résultat "habituel" pour les chaînes de Markov est le théorème ergodique de Birkhoff, qui dit que

\frac{1}{n} \sum_{i = 1}^{n} f (X_{i}) \to E_{π} [f],

$\frac{1}{n}\sum_{i=1}^nf(X_i)\rightarrow E_{\pi}[f],$

où est la distribution stationnaire, et satisfait , et la convergence est presque sûre. $\pi$ $f$ $E|f(X_1)|<\infty$

Malheureusement, les fluctuations de cette convergence sont généralement assez difficiles. Cela est principalement dû à l'extrême difficulté de déterminer les limites de variation totale de la vitesse à laquelle converge vers la distribution stationnaire . Il existe des cas connus où les fluctuations sont analogues au CLT, et vous pouvez trouver certaines conditions sur la dérive qui font que l'analogie tient: Sur le théorème de la limite centrale de la chaîne de Markov - Galin L. Jones (voir le théorème 1). $X_i$ $\pi$

Il y a aussi des situations stupides, par exemple une chaîne à deux états, où l'un est absorbant (c'est-à-dire et Dans ce cas, il n'y a pas de fluctuations, et vous obtenir la convergence vers une distribution normale dégénérée (une constante). $P(1\rightarrow 2)=1$ $P(2\rightarrow 1)=0$

— Alex R.
source

Je ne pense pas qu'il demande une convergence presque sûre. Je pense qu'il veut une sorte de «traduction» de certains des CLT sur les espaces généraux: probablement une explication de ce que les hypothèses requises signifient dans le contexte spécifique des chaînes spatiales à états finis

— Taylor

Merci. Une chaîne de Markov normale, agréable et finie satisferait-elle trivialement la condition de dérive? Je serais même heureux de le savoir pour une chaîne à deux États, mais il est loin d'être évident pour moi de le prouver.

— tom4everitt