Quelle est la différence entre les chaînes de Markov et les processus de Markov?

Quelle est la différence entre les chaînes de Markov et les processus de Markov?

Je lis des informations contradictoires: parfois la définition est basée sur si l'espace d'état est discret ou continu, et parfois elle est basée sur si le temps est discret ou continu.

Diapositive 20 de ce document :

Un processus de Markov est appelé chaîne de Markov si l'espace d'état est discret, c'est-à-dire est fini ou l'espace dénombrable est discret, c'est-à-dire qu'il est fini ou dénombrable.

http://www.win.tue.nl/~iadan/que/h3.pdf :

Un processus de Markov est la version à temps continu d'une chaîne de Markov.

Ou on peut utiliser la chaîne de Markov et le processus de Markov de manière synonyme, en précisant si le paramètre de temps est continu ou discret ainsi que si l'espace d'état est continu ou discret.

Mise à jour du 04/03/2017: la même question a été posée sur https://www.quora.com/Can-I-use-the-words-Markov-process-and-Markov-chain-interchangeably

De la préface à la première édition de "Chaînes de Markov et stabilité stochastique" de Meyn et Tweedie:

Nous traitons ici avec les chaînes de Markov. Malgré les tentatives initiales de Doob et Chung [99,71] de réserver ce terme aux systèmes évoluant sur des espaces dénombrables avec des paramètres temporels à la fois discrets et continus, l'usage semble avoir décrété (voir par exemple Revuz [326]) que les chaînes de Markov entrent temps discret, sur tout l'espace qu'ils souhaitent; et tels sont les systèmes que nous décrivons ici.

Edit: les références citées par ma référence sont respectivement:

99: JL Doob. Processus stochastiques . John Wiley & Sons, New York 1953

71: KL Chung. Chaînes de Markov avec probabilités de transition stationnaires . Springer-Verlag, Berlin, deuxième édition, 1967.

326: D. Revuz. Chaînes de Markov . Hollande du Nord, Amsterdam, deuxième édition, 1984.

Une méthode de classification des processus stochastiques est basée sur la nature du time parameter( discret ou continu ) et state space( discret ou continu ). Cela conduit à quatre catégories de processus stochastiques.

Si le state spaceprocessus stochastique est discret , qu'il time parametersoit discret ou continu , le processus est généralement appelé chaîne .

Si un processus stochastique possède la propriété de Markov , quelle que soit la nature du paramètre temporel (discret ou continu) et de l'espace d'état (discret ou continu) , il est alors appelé processus de Markov . Par conséquent, nous aurons quatre catégories de processus de Markov.

A continuous time parameter, discrete state spaceprocessus stochastique possédant la propriété de Markov est appelée une chaîne de Markov de paramètre continue (HTC) .

A discrete time parameter, discrete state spaceprocessus stochastique possédant la propriété de Markov est appelée une chaîne de Markov discret de paramètre (DTMC) .

De même, nous pouvons avoir deux autres processus de Markov.

Mise à jour 2017-03-09:

Every independent increment process is a Markov process.

Poisson processayant la propriété d'incrémentation indépendante est un Markov processparamètre temporel continu et un espace d'état discret.

Brownian motion processavoir la propriété d'incrémentation indépendante est un Markov processparamètre de temps continu et un processus d'espace d'état continu.