Expliquer l'algorithme en arrière pour le modèle de Markov caché

J'ai implémenté l' algorithme Viterbi et Forward , hélas, je ne peux pas comprendre comment fonctionne l' algorithme Backward . Intuitivement, je sens que je dois faire la même chose que dans Forward uniquement vers l'arrière, en utilisant les valeurs calculées pendant la propagation vers l'avant .

Mon intuition est-elle correcte?

J'ai lu beaucoup de diapositives et j'en ai assez de la notation mathématique à ce stade. Ça n'aide pas. J'ai besoin de quelque chose qui, en anglais simple, explique la différence entre les algorithmes Backward et Forward .

Pouvez-vous fournir une brève explication sur la façon dont l' algorithme Backward est effectué?

Supposons le petit HMM suivant et les résultats de l' algorithme Forward pour la séquence "BB" ci-dessous:

START -> 1
H: 0.5 * 0.8 = 0.4
L: 0.5 * 0.6 = 0.3

1 -> 2
H: 0.4 * 0.2 * 0.8 + 0.3 * 0.6 * 0.8 = 0.208
L: 0.4 * 0.8 * 0.6 + 0.3 * 0.4 * 0.6 = 0.264

2 -> END
END: 0.208 * 0.3 + 0.264 * 0.7 = 0.2472

On dirait que votre séquence d'observation est B, B. Notons l'observation au temps$t$ comme $z_t$ et l'état caché au moment $t$ comme $x_t$. Si nous désignons$\alpha_t(i)$ comme les valeurs à terme et $\beta_t(i)$ comme valeurs en arrière ($i$ est l'un des états cachés possibles)

$\alpha_t(i)=P(x_t=i,z_{1:t})$

Ça signifie $\alpha_t(i)$ est la probabilité d'arriver à déclarer $i$ au moment $t$ émission des observations à temps $t$. Alors,

$\beta_t(i) = P(z_{t+1:T}\mid x_t=i)$ qui est la probabilité d'émettre la séquence restante de $t+1$ jusqu'à la fin des temps après avoir été caché $i$ au moment $t$.

Pour faire la récursivité sur $\beta_t(i)$ nous pouvons écrire,

$P(z_{t+1:T}\mid x_t=i)=\sum\limits_jP(x_{t+1}=j,z_{t+1:T}\mid x_{t}=i)$

En utilisant la règle de chaîne, $P(x_{t+1}=j,z_{t+1:T}\mid x_{t}=i) = P(z_{t+2:T},z_{t+1},x_{t+1}=j\mid x_{t}=i)\\ =P(z_{t+2:T}\mid z_{t+1},x_{t+1}=j, x_{t}=i)P(z_{t+1}\mid x_{t+1}=j, x_{t}=i)P(x_{t+1}=j\mid x_{t}=i)$

Des indépendances conditionnelles de HMM, les probabilités ci-dessus se simplifient pour $P(z_{t+2:T}\mid x_{t+1}=j)P(z_{t+1}\mid x_{t+1}=j)P(x_{t+1}=j\mid x_{t}=i)$

Notez que $P(z_{t+2:T}\mid x_{t+1}=j) =\beta_{t+1}(j)$ de notre définition.

Substitution à $P(z_{t+1:T}\mid x_t=i)$ on a,

$\beta_t(i) = P(z_{t+1:T}\mid x_t=i) = \sum\limits_j \beta_{t+1}(j)P(z_{t+1}\mid x_{t+1}=j)P(x_{t+1}=j\mid x_t=i)$

Vous avez maintenant une récursivité pour la bêta. Les deux derniers termes de la dernière équation que vous connaissez de votre modèle. Ici, à partir de la fin de la chaîne (T), nous allons en arrière en calculant tout$\beta_t$, d'où l'algorithme rétrograde. En avant, vous devez commencer par le début et vous allez à la fin de la chaîne.

Dans votre modèle, vous devez initialiser $\beta_T(i) = P(\emptyset \mid x_T=i)=1$ pour tous $i$. Il s'agit de la probabilité de ne pas émettre d'observations après$T=2$.