Processus de Markov uniquement en fonction de l'état précédent

J'aimerais juste que quelqu'un confirme ma compréhension ou si je manque quelque chose.

La définition d'un processus markov indique que la prochaine étape dépend uniquement de l'état actuel et d'aucun état passé. Donc, disons que nous avions un espace d'état de a, b, c, d et que nous allons de a-> b-> c-> d. Cela signifie que la transition vers d ne pouvait dépendre que du fait que nous étions en c.

Cependant, est-il vrai que vous pourriez simplement rendre le modèle plus complexe et "contourner" cette limitation? En d'autres termes, si votre espace d'état était maintenant aa, ab, ac, ad, ba, bb, bc, bd, ca, cb, cc, cd, da, db, dc, dd, ce qui signifie que votre nouvel espace d'état devient le état précédent combiné à l'état actuel, alors la transition ci-dessus serait * a-> ab-> bc-> cd et donc la transition vers cd (équivalent dans le modèle précédent à d) est désormais "dépendante" d'un état qui, s'il est modélisé différemment, est un état antérieur (je l'appelle ci-dessous un sous-état).

Ai-je raison de dire que l'on peut le faire "dépendre des états précédents (sous-état)" (je sais techniquement que ce n'est pas le cas dans le nouveau modèle puisque le sous-état n'est plus un état réel) maintenir la propriété markov en développant l'espace d'état comme je l'ai fait? Ainsi, on pourrait en effet créer un processus markov qui pourrait dépendre de n'importe quel nombre de sous-états précédents.

Techniquement, les deux processus que vous décrivez sont des chaînes de Markov. La différence est que la première est une chaîne de Markov de premier ordre tandis que la seconde est une chaîne de Markov de second ordre. Et oui, vous pouvez transformer une chaîne de Markov de second ordre en une chaîne de Markov de premier ordre par un changement approprié dans la définition de l'espace d'état. Je m'explique par un exemple.

Supposons que nous voulions modéliser la météo comme un processus stochastique et supposons qu'à tout moment, la météo peut être pluvieuse, ensoleillée ou nuageuse. Soit la météo d'un jour donné et notons les états possibles par les symboles (pour pluvieux), pour (ensoleillé) et (pour nuageux). R S $W_t$$R$$S$$C$

Chaîne de Markov de premier ordre

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1})$

Chaîne de Markov de second ordre

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1},W_{t-2})$

La chaîne de Markov du second ordre peut être transformée en une chaîne de Markov du premier ordre en redéfinissant l'espace d'état comme suit. Définir:

$Z_{t-1,t}$ comme la météo sur deux jours consécutifs.

En d'autres termes, l'espace d'état peut prendre l'une des valeurs suivantes: , , , , , , , et . Avec cet espace d'état redéfini, nous avons les éléments suivants:R C R S C R C C C S S R S C S $RR$$RC$$RS$$CR$$CC$$CS$$SR$$SC$$SS$

$P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1}, Z_{t-3,t-2}, ..) = P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1})$

Ce qui précède est clairement une chaîne de Markov de premier ordre sur l'espace d'état redéfini. La seule différence avec la chaîne de Markov de second ordre est que votre chaîne de Markov redéfinie doit être spécifiée avec deux états de départ initiaux, c'est-à-dire que la chaîne doit être démarrée avec quelques hypothèses sur la météo du jour 1 et du jour 2.

La définition d'un processus markov indique que la prochaine étape dépend uniquement de l'état actuel et d'aucun état passé.

C'est la propriété Markov et elle définit un MC de premier ordre , qui est très maniable mathématiquement et assez facile à présenter / expliquer. Bien sûr, vous pouvez avoir des MC d'ordre (où l'état suivant dépend des états actuels et passés ) ainsi que des MC d'ordre variable (lorsque la longueur de la mémoire est fixe mais dépend de l'état précédent ).$n^{th}$$n-1$

$n^{th}$ ordre MCs conservent la formulation explicite pour la distribution de l'état stationnaire, mais comme vous l'avez souligné, la taille de la matrice d'état croît avec tel qu'un MC non restreint ordre avec états a entrée dans sa matrice d'état.$n$$n^{th}$$k$$O(k^{2n})$

Vous voudrez peut-être jeter un œil aux articles récents tels que les chaînes de Markov multivariées d'ordre supérieur et leurs applications, car ce domaine progresse rapidement et silencieusement.