Statistiques et Big Data markov-process

3

Estimation des probabilités de transition de Markov à partir des données de séquence

J'ai un ensemble complet de séquences (432 observations pour être précis) de 4 états A−DA−DA-D : par ex. Y=⎛⎝⎜⎜⎜⎜AB⋮BCA⋮CDA⋮ADC⋮DBA⋮AA−⋮BC−⋮A⎞⎠⎟⎟⎟⎟Y=(ACDDBACBAACA−−⋮⋮⋮⋮⋮⋮⋮BCADABA)Y=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&- &-\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & A\\ \end{array}\right) …

16 r matlab markov-process

2

Quelle est la différence entre les chaînes de Markov et les processus de Markov?

Quelle est la différence entre les chaînes de Markov et les processus de Markov? Je lis des informations contradictoires: parfois la définition est basée sur si l'espace d'état est discret ou continu, et parfois elle est basée sur si le temps est discret ou continu. Diapositive 20 de ce document …

16 terminology stochastic-processes markov-process

2

Échantillonnage à partir d'une distribution incorrecte (en utilisant MCMC et autrement)

Ma question de base est: comment échantillonner à partir d'une distribution incorrecte? Est-il même judicieux d'échantillonner à partir d'une distribution incorrecte? Le commentaire de Xi'an ici répond en quelque sorte à la question, mais je cherchais plus de détails à ce sujet. Plus spécifique à MCMC: En parlant de MCMC …

15 distributions bayesian mcmc markov-process improper-prior

2

Quel est le lien entre la chaîne Markov et la chaîne Markov Monte Carlo

J'essaie de comprendre les chaînes de Markov en utilisant SAS. Je comprends qu'un processus de Markov est un processus dans lequel l'état futur dépend uniquement de l'état actuel et non de l'état passé et il existe une matrice de transition qui capture la probabilité de transition d'un état à un …

15 probability simulation mcmc monte-carlo markov-process

3

Pourquoi y a-t-il toujours au moins une politique meilleure ou égale à toutes les autres politiques?

Apprentissage par renforcement: une introduction. Deuxième édition, en cours ., Richard S. Sutton et Andrew G. Barto (c) 2012, pp. 67-68. Résoudre une tâche d'apprentissage par renforcement signifie, en gros, trouver une politique qui obtient beaucoup de récompenses à long terme. Pour les MDP finis, nous pouvons définir précisément une …

15 markov-process reinforcement-learning

4

Un exemple pratique pour MCMC

Je passais par quelques conférences liées à MCMC. Cependant, je ne trouve pas un bon exemple de la façon dont il est utilisé. Quelqu'un peut-il me donner un exemple concret? Tout ce que je peux voir, c'est qu'ils dirigent une chaîne de Markov et disent que sa distribution stationnaire est …

14 probability bayesian mcmc markov-process

2

Solveurs numériques pour les équations différentielles stochastiques dans R: en existe-t-il?

Je recherche un package R général, propre et rapide (c'est-à-dire en utilisant des routines C ++) pour simuler des chemins à partir d'une diffusion non linéaire non homogène comme (1) en utilisant le schéma Euler-Maruyama, le schéma Milstein (ou tout autre). Celui-ci est destiné à être intégré dans un code …

13 r simulation stochastic-processes markov-process

3

Estimation des probabilités de la chaîne de Markov

Quelle serait la manière courante d'estimer la matrice de transition MC compte tenu de la série temporelle? Existe-t-il une fonction R pour cela?

12 markov-process

2

Un MCMC remplissant un équilibre détaillé donne-t-il une distribution stationnaire?

Je suppose que je comprends l'équation de la condition d'équilibre détaillé, qui stipule que pour la probabilité de transition et la distribution stationnaire , une chaîne de Markov satisfait à l'équilibre détaillé siqqqππ\piq(x|y)π(y)=q(y|x)π(x),q(x|y)π(y)=q(y|x)π(x),q(x|y)\pi(y)=q(y|x)\pi(x), cela a plus de sens pour moi si je le reformule comme: q(x|y)q(y|x)=π(x)π(y).q(x|y)q(y|x)=π(x)π(y).\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}. Fondamentalement, la probabilité …

12 probability mcmc markov-process

5

Comment voyez-vous qu'une chaîne de Markov est irréductible?

J'ai du mal à comprendre la propriété de la chaîne de Markov irréductible . Irréductible signifie que le processus stochastique peut "passer de n'importe quel état à n'importe quel état". Mais qu'est-ce qui définit s'il peut passer de l'état à l'état , ou non?jjeiijjj La page wikipedia donne la formalisation: …

12 stochastic-processes markov-process

3

Modélisation mathématique des réseaux de neurones en tant que modèles graphiques

J'ai du mal à faire le lien mathématique entre un réseau de neurones et un modèle graphique. Dans les modèles graphiques, l'idée est simple: la distribution de probabilité factorise en fonction des cliques du graphique, les potentiels étant généralement de la famille exponentielle. Existe-t-il un raisonnement équivalent pour un réseau …

11 neural-networks markov-process graphical-model deep-learning deep-belief-networks

1

Intervalles de confiance pour la différence dans les séries chronologiques

J'ai un modèle stochastique utilisé pour simuler des séries chronologiques de certains processus. Je m'intéresse à l'effet de changer un paramètre à une valeur spécifique et je veux montrer la différence entre la série chronologique (par exemple le modèle A et le modèle B) et une sorte d'intervalle de confiance …

11 time-series predictive-models markov-process

6

Comment aborder le problème 213 du projet Euler («Flea Circus»)?

Je voudrais résoudre le projet Euler 213 mais je ne sais pas par où commencer parce que je suis un profane dans le domaine des statistiques, notez qu'une réponse précise est requise pour que la méthode Monte Carlo ne fonctionne pas. Pourriez-vous me recommander quelques sujets de statistiques? Veuillez ne …

11 self-study monte-carlo markov-process

1

Test de la propriété markov dans une série chronologique

Étant donné une série temporelle (observée) avec , existe-t-il un test statistique pour tester l'hypothèse nulle que (c'est-à-dire la propriété markov)?XtXtX_tXt∈ { 1 , . . . , n }Xt∈{1,...,n}X_t\in\{1,...,n\}P( Xt|Xt - 1, Xt - 2, . . ., X1) = P( Xt|Xt -1)P(Xt|Xt-1,Xt-2,...,X1)=P(Xt|Xt-1)P(X_t|X_{t-1},X_{t-2},...,X_1)=P(X_t|X_{t-1})

11 time-series hypothesis-testing markov-process

3

Construire un arbre de probabilité de chemin pour les voyages sur un site Web

Je fais actuellement une analyse sur un site Web qui nécessite que je crée un diagramme d'arbre de décision montrant la route probable que les gens prennent chaque fois qu'ils arrivent sur le site Web. Je traite un data.framequi montre les chemins de tous les clients vers le site, à …

10 r probability data-visualization markov-process

Questions marquées «markov-process»