Modèles de Markov avec probabilités de transition conditionnelles


10

Tout d'abord, permettez-moi de reconnaître dès le départ que je ne suis pas aussi doué en statistique et en mathématiques que je le souhaiterais. Certains pourraient dire avoir juste assez de connaissances pour être dangereux. : Je m'excuse si je n'utilise pas la terminologie correctement.

J'essaie de modéliser les probabilités d'un système en transition d'un état à un autre. Un modèle Markov simple est un bon début. (Ensemble d'états, ensemble de probabilités d'état initial, ensemble de probabilités de transition entre états.)

Cependant, le système que je modélise est plus complexe que cela. Les probabilités de transition menant à un état au temps T dépendent très certainement de variables autres que l'état à T-1. Par exemple, S1 -> S2 peut avoir une probabilité de transition de 40% lorsque le soleil brille, mais la probabilité S1 -> S2 passe à 80% lorsqu'il pleut.

Informations supplémentaires provenant des questions des commentateurs:

  1. Les états sont observables.
  2. Il n'y aura que 5 à 10 États.
  3. Il y a actuellement une trentaine de covariables que nous voulons étudier, bien que le modèle final en contiendra certainement moins.
  4. Certaines covariables sont continues, d'autres sont discrètes.

Trois questions:

  1. Comment puis-je incorporer des probabilités de transition conditionnelles dans mon modèle de Markov?
  2. Ou, y a-t-il une autre perspective entièrement à partir de laquelle je devrais aborder cette question?
  3. De plus, quels mots clés / concepts dois-je rechercher en ligne pour en savoir plus?

J'ai déjà parcouru le Web à la recherche de choses comme «des modèles de Markov avec des probabilités de transition conditionnelles», mais jusqu'à présent, rien ne m'a giflé et j'ai dit: «C'est votre réponse, factice!

Merci pour votre aide et votre patience.


Bienvenue sur le site. Quelle est la taille de l'espace d'état? Avez - vous observez l'état que votre processus est à chaque étape? Combien de covariables (prédicteurs supplémentaires) avez-vous? Sont-ils continus, discrets ou peut-être un mélange des deux?
Cardinal

Merci, cardinal. Oui, les états sont observables. Il y aura probablement 5 à 10 États. (C'est encore incertain, mais je ne m'attends pas à un très grand espace d'état.) Pour l'instant, nous avons une liste d'environ 30 covariables supplémentaires que nous avons l'intention d'étudier, bien que la plupart d'entre elles finiront probablement par avoir peu d'effet. Certains sont continus et certains sont discrets.
Aaron Johnson

Réponses:


5

Vous pouvez toujours avoir une chaîne de Markov de second ordre ou d'ordre supérieur. Dans ce cas, votre modèle tout prêt comprend toutes les informations de transition probabiliste. Vous pouvez vérifier les réseaux bayésiens dynamiques qui sont une généralisation de modèle graphique des chaînes de Markov qui sont fréquemment utilisées dans l'apprentissage automatique.


YBE, merci pour la réponse rapide! Est-ce que cela (modéliser le système comme une chaîne de second ordre ou supérieure) me permet de modéliser des covariables continues, ou simplement des covariables discrètes? Et pouvez-vous m'indiquer un lien qui donne un bon exemple de ce dont vous parlez? Merci!
Aaron Johnson

Il y a un papier que vous pouvez vérifier. Il commence par décrire les chaînes de premier ordre, puis décrit la situation des chaînes d'ordre supérieur. (Chaînes de Markov multivariées d'ordre supérieur et leurs applications par Ching, Ng, Fung) Si vous êtes intéressé par le genre d'apprentissage automatique, je vous suggère de consulter le site Web de Kevin Murphy. Il a également une boîte à outils MATLAB avec laquelle vous pouvez jouer.
YBE

+1 à votre réponse pour la référence au papier Ching, Ng et Fung. C'est une bonne chose à avoir. Cependant, après l'avoir lu, il semble qu'il ne couvre que les variables discrètes (ce qui est un peu ce à quoi je m'attendais). Bien que je puisse discrétiser mes variables continues, je suis toujours curieux - Y a-t-il des modèles qui peuvent gérer le continu brut variables?
Aaron Johnson

Je ne suis pas un expert, mais je suppose que les résultats devraient être valables pour un cas continu en général. Le filtre de Kalman, par exemple, fonctionne sur une HMM (chaîne de Markov du 1er ordre) avec des états continus.
YBE

Je n'ai pas tout de suite choisi votre réponse car j'attendais plus de candidats. Ils ne sont jamais venus et je l'ai oublié. Deux ans plus tard, je vous récompense maintenant en acceptant votre réponse. Merci pour l'info! Soit dit en passant, avez-vous rencontré autre chose sur ce sujet au cours des deux dernières années? C'est toujours quelque chose qui m'intéresse.
Aaron Johnson


0

T1

Ce paquet semble être un assez bon ajustement pour modéliser les effets des covariables sur les transitions entre les résultats catégoriques au fil du temps. Cela n'aiderait pas si vous avez vraiment besoin d'une chaîne de commande supérieure, mais il ne semble pas que ce soit le cas en fonction de votre question d'origine.

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.