Comment voyez-vous qu'une chaîne de Markov est irréductible?

12

J'ai du mal à comprendre la propriété de la chaîne de Markov irréductible .

Irréductible signifie que le processus stochastique peut "passer de n'importe quel état à n'importe quel état".

Mais qu'est-ce qui définit s'il peut passer de l'état à l'état , ou non? $i$ $j$

La page wikipedia donne la formalisation:

L'état est accessible (écrit ) à partir de l'état , s'il existe un entier st $j$ $i\rightarrow j$ $i$ $n_{ij}>0$

P (X_{n_{i j}} = j | X_{0} = i) = p_{i j}^{(n_{i j})} > 0

$P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0$

alors communiquer est si et . $i\rightarrow j$ $j \rightarrow i$

De ces irréductibilité découle en quelque sorte.

stochastic-processes markov-process

— mavavilj
source

Quelle est l'intuition de «l'accessibilité»? Je ne comprends pas pourquoi avoir une probabilité conditionnelle rend quelque chose "accessible"?

— mavavilj

Vous pouvez regarder du point d' inaccessibilité . On dit que l'état est inaccessible à partir de s'il n'y a aucune chance d'y arriver à partir de , c'est-à-dire pour un nombre quelconque d'étapes la probabilité de cet événement reste . Pour faire la définition de l'accessibilité, il faut changer les quanteurs, c'est-à-dire à exist et à (ce qui est le même que , car la probabilité est positive).

j

$j$

i

$i$

i

$i$

n

$n$

0

$0$

\forall

$\forall$

\exists

$\exists$

= 0

$=0$

\neq 0

$\neq 0$

> 0

$>0$

— nmerci

12

Voici trois exemples de matrices de transition, les deux premiers pour le cas réductible, le dernier pour le cas irréductible.

Pour, lorsque vous êtes dans l'état 3 ou 4, vous y resterez, et de même pour les états 1 et 2. Il n'y a aucun moyen pour passer de l'état 1 à l'état 3 ou 4, par exemple.

\begin{array}{rcl} P_{1} & = & (\begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array}) \\ P_{2} & = & (\begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1 \end{array}) \end{array}

$\begin{eqnarray*} P_1 &=& \left( \begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array} \right) \\\\ P_2 &=& \left( \begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1% \end{array} \right) \end{eqnarray*}$

P_{1}

$P_1$

Pour , vous pouvez accéder à n'importe quel état des états 1 à 3, mais une fois dans l'état 4, vous y resterez. $P_2$

P_{3} = (\begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0 \end{array})

$P_3=\left( \begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0% \end{array} \right)$ Pour cet exemple, vous pouvez commencer dans n'importe quel état et atteindre tout autre état, mais pas nécessairement en une seule étape.

— Christoph Hanck
source

5

L'état est dit être accessible à partir d' un état (généralement notée ) s'il existe un tel que: Ce est, on peut passer de l'état à l'état en étapes avec la probabilité . $j$ $i$ $i \to j$ $n\geq 0$

p_{i j}^{n} = P (X_{n} = j ∣ X_{0} = i) > 0

$p^n_{ij}=\mathbb P(X_n=j\mid X_0=i) > 0$

i

$i$

j

$j$

n

$n$

p_{i j}^{n}

$p^n_{ij}$

$i\to j$ $j\to i$ $i$ $j$ $i\leftrightarrow j$

— nmerci
source

n

$n$

p_{i j}^{n}

$p_{ij}^n$

P = (p_{i j})

$\mathbf P=(p_{ij})$

p_{i j}^{n}

$p_{ij}^n$

i j

$ij$

P^{n}

$\mathbf P^n$

n

$n$

2

$i$ $j$ $i$ $j$ $\cdots$ $j$ $i$

$i\rightarrow j$ $j$ $i$ $m>0$ $p_{ij}^{(m)}>0$

$j\rightarrow i$ $n>0$ $p_{ji}^{(n)}>0$

$i\rightarrow j$ $j\rightarrow i$ $i$ $j$ $i \leftrightarrow j$ $m>0,\;\; n>0$ $p_{ij}^{(m)}>0$ $p_{ji}^{(n)}>0$

Si tous les états de la chaîne de Markov appartiennent à une classe communicante fermée , alors la chaîne est appelée une chaîne de Markov irréductible . L'irréductibilité est une propriété de la chaîne.

Dans une chaîne de Markov irréductible, le processus peut passer de n'importe quel état à n'importe quel état , quel que soit le nombre d'étapes qu'il nécessite.

— LVRao
source

1

Certaines des réponses existantes me semblent incorrectes.

Comme cité dans Stochastic Processes de J. Medhi (page 79, édition 4), une chaîne de Markov est irréductible si elle ne contient aucun sous-ensemble «fermé» approprié autre que l'espace d'état.

Donc, si dans votre matrice de probabilité de transition, il existe un sous-ensemble d'états tels que vous ne pouvez pas «atteindre» (ou accéder) à d'autres états en dehors de ces états, alors la chaîne de Markov est réductible. Sinon, la chaîne de Markov est irréductible.

— Cosmique
source

-1

D'abord un mot d'avertissement: ne regardez jamais une matrice à moins que vous n'ayez une raison sérieuse de le faire: la seule à laquelle je peux penser est de vérifier les chiffres tapés par erreur ou de lire dans un manuel.

$P$ $\exp(P)$ $P$ $P^n$ $n$

L'irréductibilité signifie: vous pouvez passer de n'importe quel état à n'importe quel autre état en un nombre fini d'étapes.

$P_3$

— titus
source

1

i

$i$

j

$j$

1

Vous devez vraiment demander à votre professeur. Il ne va pas te manger, tu sais.

— titus

e^{P_{i j}}

$e^{P_{ij}}$

Je fais référence à la matrice exponentielle

— Titus