Vérifier la propriété sans mémoire d'une chaîne de Markov

17

Je soupçonne qu'une série de séquences observées est une chaîne de Markov ...

X = (\begin{array}{ccccccc} A & C & D & D & B & A & C \\ B & A & A & C & A & D & A \\ ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ \\ B & C & A & D & A & B & E \end{array})

$X=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&D &A\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & E\\ \end{array}\right)$

Mais comment vérifier qu'ils respectent bien la propriété sans mémoire de

P (X_{i} = x_{i} | X_{j} = x_{j}) ?

$P(X_i=x_i|X_j=x_j)?$

Ou au moins prouver qu'ils sont de nature Markov? Notez que ce sont des séquences observées empiriquement. Des pensées?

ÉDITER

Juste pour ajouter, le but est de comparer un ensemble de séquences prévu à partir de celles observées. Nous aimerions donc recevoir des commentaires sur la meilleure façon de les comparer.

Matrice de transition du premier ordre

M_{i j} = \frac{x_{i} j}{\sum^{m} x_{i k}}

$M_{ij}=\displaystyle \frac{x_ij}{\sum^mx_{ik}}$ où m = A..E indique

M = (\begin{array}{ccccccc} 0.1834 & 0.3077 & 0.0769 & 0.1479 & 0.2840 \\ 0.4697 & 0.1136 & 0.0076 & 0.2500 & 0.1591 \\ 0.1827 & 0.2404 & 0.2212 & 0.1923 & 0.1635 \\ 0.2378 & 0.1818 & 0.0629 & 0.3357 & 0.1818 \\ 0.2458 & 0.1788 & 0.1173 & 0.1788 & 0.2793 \end{array})

$M=\left(\begin{array}{c c c c c c c} 0.1834& 0.3077 & 0.0769& 0.1479 & 0.2840\\ 0.4697& 0.1136 & 0.0076 & 0.2500 & 0.1591\\ 0.1827& 0.2404& 0.2212 & 0.1923 & 0.1635\\ 0.2378 & 0.1818& 0.0629& 0.3357 & 0.1818\\ 0.2458 & 0.1788& 0.1173 & 0.1788 & 0.2793\end{array}\right)$

Valeurs propres de M

E = (\begin{array}{ccccccc} 1.0000 & 0 & 0 & 0 & 0 \\ 0 & - 0.2283 & 0 & 0 & 0 \\ 0 & 0 & 0.1344 & 0 & 0 \\ 0 & 0 & 0 & 0.1136 - 0.0430 i & 0 \\ 0 & 0 & 0 & 0 & 0.1136 + 0.0430 i \end{array})

$E =\left(\begin{array}{c c c c c c c} 1.0000 & 0 & 0 & 0 & 0 \\ 0 & -0.2283 & 0 & 0 & 0 \\ 0 & 0 & 0.1344 & 0 & 0\\ 0 & 0 & 0 & 0.1136 - 0.0430i & 0 \\ 0 & 0 & 0 & 0 & 0.1136 + 0.0430i\\ \end{array}\right)$

Vecteurs propres de M

V = (\begin{array}{ccccccc} 0.4472 & - 0.5852 & - 0.4219 & - 0.2343 - 0.0421 i & - 0.2343 + 0.0421 i \\ 0.4472 & 0.7838 & - 0.4211 & - 0.4479 - 0.2723 i & - 0.4479 + 0.2723 i \\ 0.4472 & - 0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & - 0.0010 & 0.7089 & 0.2123 - 0.0908 i & 0.2123 + 0.0908 i \\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881 i & 0.2546 - 0.3881 i \end{array})

$V =\left(\begin{array}{c c c c c c c} 0.4472& -0.5852 & -0.4219 & -0.2343 - 0.0421i & -0.2343 + 0.0421i\\ 0.4472 & 0.7838 & -0.4211 & -0.4479 - 0.2723i & -0.4479 + 0.2723i\\ 0.4472 & -0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & -0.0010 & 0.7089 & 0.2123 - 0.0908i & 0.2123 + 0.0908i\\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881i & 0.2546 - 0.3881i\\ \end{array}\right)$

markov-process

— HCAI
source

Les colonnes contiennent la série et les lignes les éléments des séquences? Quel est le nombre de lignes et de colonnes observé?

— mpiktas

2

Duplicata possible: stats.stackexchange.com/questions/29490/…

— mpiktas

@mpiktas Les lignes représentent les séquences de transitions observées indépendantes à travers les états AD. Il y a environ 400 séquences ... Gardez à l'esprit que les séquences observées ne sont pas toutes de la même longueur. En fait, la matrice ci-dessus dans de nombreux cas est augmentée par des zéros. Merci pour le lien au fait. Il semble qu'il reste encore beaucoup de place pour travailler dans ce domaine. Avez-vous d'autres réflexions? Cordialement,

— HCAI

1

La régression linéaire était un exemple pour renforcer le point de mon argument. C'est-à-dire que vous n'aurez peut-être pas besoin de tester directement la propriété Markov, il vous suffit d'adapter un modem qui suppose la propriété Markov, puis de vérifier la validité du modèle.

— mpiktas

1

Je me souviens vaguement d'avoir vu quelque part un test d'hypothèse pour H0 = {Markov} vs H1 = {Markov order 2}. Cela pourrait aider.

— Stéphane Laurent

5

Je me demande si ce qui suit donnerait un test Pearson valide pour les proportions comme suit. $\chi^2$

Estimez les probabilités de transition en une étape - vous l'avez fait.
Obtenez les probabilités du modèle en deux étapes: ${\hat{p}}_{U, V} = P r o b [X_{i + 2} = U | X_{i} = V] = \sum_{W \in {A, B, C, D}} P r o b [X_{i + 2} = U | X_{i + 1} = W] P r o b [X_{i + 1} = W | X_{i} = V]$ $\hat p_{U,V} = {\rm Prob}[X_{i+2}=U|X_i=V] = \sum_{W\in\{A,B,C,D\}} {\rm Prob}[X_{i+2}=U|X_{i+1}=W]{\rm Prob}[X_{i+1}=W|X_i=V]$
Obtenez les probabilités empiriques en deux étapes ${\tilde{p}}_{U, V} = \frac{\sum_{i} # X_{i} = V, X_{i + 2} = U}{\sum_{i} # X_{i} = V}$ $\tilde p_{U,V} = \frac{\sum_i \# X_i = V, X_{i+2} = U}{\sum_i \# X_i = V}$
Formulaire statistique de test Pearson $T_{V} = # {X_{i} = V} \sum_{U} \frac{({\hat{p}}_{U, V} - {\tilde{p}}_{U, V})^{2}}{{\hat{p}}_{U, V}}, T = T_{A} + T_{B} + T_{C} + T_{D}$ $T_V = \# \{X_i = V\} \sum_U \frac{(\hat p_{U,V} - \tilde p_{U,V})^2}{\hat p_{U,V}}, \quad T=T_A + T_B + T_C + T_D$

Il est tentant pour moi de penser que chaque , de sorte que le total . Cependant, je ne suis pas tout à fait sûr de cela et apprécierais vos réflexions à ce sujet. Je ne suis pas non plus sûr de savoir si l'on doit être paranoïaque à propos de l'indépendance, et je voudrais diviser l'échantillon en deux pour estimer et . $T_U \sim \chi^2_3$ $T\sim \chi^2_{12}$ $\hat p$ $\bar p$

— StasK
source

Les probabilités ne doivent-elles pas avoir une distribution normale avec une moyenne de 0 et une variance = 1 pour que cela se vérifie? Je serais très intéressé de savoir ce que quelqu'un pense ici.

— HCAI

C'est ce que les termes de la somme sont censés être, asymptotiquement avec de grands nombres.

— StasK

6

La propriété Markov peut être difficile à tester directement. Mais cela pourrait être suffisant pour ajuster un modèle qui suppose la propriété Markov et tester ensuite si le modèle est valide. Il peut s'avérer que le modèle ajusté est une bonne approximation qui vous est utile dans la pratique, et vous n'avez pas à vous soucier de savoir si la propriété Markov tient vraiment ou non.

Le parallèle peut être établi avec la régression linéaire. La pratique habituelle n'est pas de vérifier si la linéarité est vraie, mais si le modèle linéaire est une approximation utile.

— mpiktas
source

Cela semble être la meilleure option en réalité, mais je ne peux pas réellement comparer un modèle linéaire à des données expérimentales réelles. Ou aviez-vous autre chose en tête?

— HCAI

6

Pour concrétiser la suggestion de la réponse précédente, vous voulez d'abord estimer les probabilités de Markov - en supposant que c'est Markov. Voir la réponse ici Estimation des probabilités de la chaîne de Markov

Vous devriez obtenir un 4 x 4 matrice basée sur la proportion des transitions d' un état A à A, A à B, etc. Appelez cette matrice . devrait alors être la matrice de transition en deux étapes: A à A en 2 étapes, et ainsi de suite. Vous pouvez ensuite tester si votre matrice de transition en 2 étapes observée est similaire à . $M$ $M^2$ $M^2$

Puisque vous avez beaucoup de données pour le nombre d'états, vous pouvez estimer partir de la moitié des données et tester à l'aide de l'autre moitié - vous testez les fréquences observées par rapport aux probabilités théoriques d'un multinomial. Cela devrait vous donner une idée de votre éloignement. $M$ $M^2$

Une autre possibilité serait de voir si les proportions d'état de base: proportion de temps passé en A, temps passé en B, correspond au vecteur propre de la valeur propre unitaire de M. Si votre série a atteint une sorte d'état stationnaire, la proportion de temps dans chaque l'État devrait tendre vers cette limite.

— Placidia
source

Il y a un peu à retenir: j'ai calculé la matrice de transition

, mais je ne sais pas comment vous calculeriez empiriquement le

. Pourriez-vous clarifier ce point? Cordialement,

M

$M$

M^{2}

$M^2$

— HCAI

De plus, ce dernier commentaire est très intéressant, même si je n'ai pas le temps passé dans chaque état de mes séquences observées. Je n'ai que le temps total pour chaque ligne. Cela peut donc limiter l'applicabilité de cette méthode. Quelles sont vos pensées?

— HCAI

1

Faites-le de la même manière que vous avez fait M, mais au lieu de regarder les transitions du voisin le plus proche, (disons les séquences AB), regardez les paires qui sont à 2. Donc, si un sujet devient ACB, cela compte pour votre compte de transition AB. ABB aussi. Créez une matrice où l'élément de la ligne i, la colonne j contient les transitions i à j. Divisez ensuite par les totaux des colonnes. Vous voulez que les colonnes totalisent 1. Sous la propriété Markov, cette matrice doit être proche de

M^{2}

$M^2$

— Placidia

RE: équilibre. Je supposais que les transitions se produisent à des moments définis - disons que chaque seconde, vous passez de l'état actuel à l'état suivant. Vous pouvez prendre la fréquence des états A, B, C et D près de la fin des séquences ou à travers les séquences pour estimer le comportement limite.

— Placidia

Dans R, si vous faites des valeurs propres (M), vous devriez obtenir les valeurs propres et les vecteurs propres de M. Une valeur propre sera 1. Le vecteur propre correspondant devrait être proportionnel à vos proportions d'état stationnaire .... si Markov.

— Placidia

2

Au-delà de la propriété de Markov (MP), une autre propriété est l' homogénéité temporelle (TH): peut être Markov mais avec sa matrice de transition fonction du temps . Par exemple, cela peut dépendre du jour de la semaine à si les observations sont quotidiennes, puis une dépendance à conditionnelle à peut être diagnostiquée si TH est indûment supposé. $X_t$ $\mathbf{P}(t)$ $t$ $t$ $X_t$ $X_{t-7}$ $X_{t-1}$

En supposant que TH se vérifie, une vérification possible de MP teste que est indépendant de conditionnel à , comme Michael Chernick et StasK l'ont suggéré. Cela peut être fait en utilisant un test pour la table de contingence. On peut construire les tables de contingence de et conditionnellement à pour les valeurs possibles $X_t$ $X_{t-2}$ $X_{t-1}$ $n$ $X_t$ $X_{t-2}$ $\{X_{t-1} = x_j\}$ $n$ $x_j$ et tester l'indépendance. Cela peut également être fait en utilisant avec à la place de . $X_{t-\ell}$ $\ell > 1$ $X_{t-2}$

Dans R, les tableaux de contingence ou les tableaux sont facilement produits grâce au facteur installation et les fonctions apply, sweep. L'idée ci-dessus peut également être exploitée graphiquement. Les packages ggplot2 ou lattice fournissent facilement des tracés conditionnels pour comparer les distributions conditionnelles . Par exemple, définir comme index de ligne et $p(X_t \vert X_{t-1}=x_j, X_{t-2} = x_i)$ $i$ $j$ comme l'index de colonne dans le treillis devrait sous MP conduire à des distributions similaires dans une colonne.

Le chap. 5 du livre L'analyse statistique des processus stochastiques dans le temps par JK Lindsey contient d'autres idées pour vérifier les hypothèses.

enter image description here

[## simulates a MC with transition matrix in 'trans', starting from 'ini'
simMC <- function(trans, ini = 1, N) {
  X <- rep(NA, N)
  Pcum <- t(apply(trans, 1, cumsum))
  X[1] <- ini 
  for (t in 2:N) {
    U <- runif(1)
    X[t] <- findInterval(U, Pcum[X[t-1], ]) + 1
  }
  X
}
set.seed(1234)
## transition matrix
P <- matrix(c(0.1, 0.1, 0.1, 0.7,
              0.1, 0.1, 0.6, 0.2,
              0.1, 0.3, 0.2, 0.4,
              0.2, 0.2, 0.3, 0.3),
            nrow = 4, ncol = 4, byrow = TRUE)
N <- 2000
X <- simMC(trans = P, ini = 1, N = N)
## it is better to work with factors
X <- as.factor(X)
levels(X) <- LETTERS[1:4]
## table transitions and normalize each row
Phat <- table(X[1:(N-1)], X[2:N])
Phat <- sweep(x = Phat, MARGIN = 1, STATS = apply(Phat, 1, sum), FUN = "/")
## explicit dimnames
dimnames(Phat) <- lapply(list("X(t-1)=" ,"X(t)="),
                         paste, sep = "", levels(as.factor(X)))
## transition 3-fold contingency array
P3 <- table(X[1:(N-2)], X[2:(N-1)], X[3:N])
dimnames(P3) <- lapply(list("X(t-2)=", "X(t-1)=" ,"X(t)="),
                       paste, sep = "", levels(as.factor(X)))
## apply ONE indendence test 
fisher.test(P3[ , 1, ], simulate.p.value = TRUE)
## plot conditional distr.
library(lattice)
X3 <- data.frame(X = X[3:N], lag1X =  X[2:(N-1)], lag2X = X[1:(N-2)])
histogram( ~ X | lag1X + lag2X, data = X3, col = "SteelBlue3")

]

— Yves
source

2

Je pense que placida et mpiktas ont tous deux donné des approches très réfléchies et excellentes.

$P(X_i=x|X_{i-1}=y)$ $P(X_i=x|X_{i-1}=y \text{ and } X_{i-2}=z)$

$x$ $y$ $z$ $z$ $y$ $x$ $z$ $y$ $x$ $x$ $y$ $x$ $x$

La statistique de test serait alors la différence entre ces proportions estimées. La complication de la comparaison standard des séquences de Bernoulli est qu'elles sont corrélées. Mais vous pouvez faire un test d'amorçage des proportions binomiales dans ce cas.

$0$ $1$ $(0,0)$ $(0,1)$ $(1,0)$ $(1,1)$

— Michael R. Chernick
source

P (X_{i} | X_{i - 1} = y)

$P(X_i|X_{i-1}=y)$

_{i}

$_i$

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$

_{i}

$_i$

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$

_{i}

$_i$

i \to j \to i

$i\rightarrow j\rightarrow i$

i \to j \to k \to i

$i\rightarrow j\rightarrow k\rightarrow i$

1

$\{X_{n+1}:X_n=x_1,X_{n-k}=x_2\}$

V a r [E (X_{n + 1} | X_{n}, X_{n - k}) | X_{n}] = V a r [X_{n + 1} | X_{n}] - E (V a r [X_{n + 1} | X_{n}])

$\mathrm{Var}[E(X_{n+1}|X_n,X_{n-k})|X_n] = \mathrm{Var}[X_{n+1}|X_n]-E(\mathrm{Var}[X_{n+1}|X_n])$

$X_{n-k}$ $X_{n+1}\sim N(X_n,X_{n-1})$

— Luke O'Connor
source