Valeur attendue pour Worm et Apple

Une pomme est situé au sommet $A$ de pentagone , et une vis sans fin se trouve à une distance deux sommets, à . Chaque jour, le ver rampe avec une probabilité égale à l'un des deux sommets adjacents. Ainsi, après un jour, le ver est au sommet ou , chacun avec une probabilité . Après deux jours, le ver pourrait être de retour à , car il n'a pas de mémoire des positions précédentes. Quand il atteint le sommet , il s'arrête pour dîner.$ABCDE$$C$$B$$D$$1/2$$C$$A$

a) Quelle est la moyenne du nombre de jours avant le dîner?

(b) Soit p la probabilité que le nombre de jours soit égal ou supérieur à . Que dit l'inégalité de Markov à propos de ?$100$$p$

Pour (a), soit la variable aléatoire définie par le nombre de jours avant le dîner. Donc P (X = 0) = 0 \\ P (X = 1) = 0 \\ P (X = 2) = \ frac {1} {\ binom {5} {2}} \\ \ vdots$X$

$$P(X = 0) = 0 \\ P(X=1) = 0 \\ P(X=2) = \frac{1}{\binom{5}{2}} \\ \vdots$$

Quelle serait la répartition générale?

Pour (b), si nous connaissons (a), alors nous savons que

$$P(X \geq 100) \leq \frac{E(X)}{100}$$

Dans l'excellente réponse de Glen_b , il montre que vous pouvez calculer la valeur attendue analytiquement en utilisant un système simple d'équations linéaires. En suivant cette méthode analytique, vous pouvez déterminer que le nombre attendu de mouvements vers la pomme est de six. Une autre excellente réponse de whuber montre comment dériver la fonction de masse de probabilité pour le processus après un nombre donné de mouvements, et cette méthode peut également être utilisée pour obtenir une solution analytique pour la valeur attendue. Si vous souhaitez en savoir plus sur ce problème, vous devriez lire quelques articles sur les promenades aléatoires circulaires (voir par exemple, Stephens 1963 )

Pour donner une vue alternative du problème, je vais vous montrer comment vous pouvez obtenir le même résultat en utilisant la méthode de force brute qui consiste simplement à calculer la chaîne de Markov en utilisant le calcul statistique. Cette méthode est inférieure à l'examen analytique à bien des égards, mais elle a l'avantage de vous permettre de résoudre le problème sans nécessiter de connaissances mathématiques majeures.

---

Méthode de calcul de la force brute: Prendre les états dans l'ordre , vos transitions de chaîne de Markov selon la matrice de transition suivante:$A,B,C,D,E$

$$\mathbf{P} = \begin{bmatrix} 1 & 0 & 0 & 0 & 0 \\[6pt] \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 & 0 \\[6pt] 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 \\[6pt] 0 & 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} \\[6pt] \tfrac{1}{2} & 0 & 0 & \tfrac{1}{2} & 0 \\[6pt] \end{bmatrix}$$

Le premier état est l'état absorbant où le ver est à la pomme. Que soit le nombre de coups jusqu'à ce que le ver arrive à la pomme d' un état . Alors pour tout la probabilité que le ver soit à la pomme après ce nombre de mouvements est et donc le nombre attendu de mouvements pour arriver à la pomme à partir de cet état est:$A$$T_C$$C$$n \in \mathbb{N}$$\mathbb{P}(T_C \leqslant n) = \{ \mathbf{P}^n \}_{C,A}$

$$\mathbb{E}(T_C) = \sum_{n=0}^\infty \mathbb{P}(T_C > n) = \sum_{n=0}^\infty (1-\{ \mathbf{P}^n \}_{C,A}).$$

Les termes de la somme diminuent de façon exponentielle pour les grands afin que nous puissions calculer la valeur attendue à n'importe quel niveau de précision souhaité en tronquant la somme à un nombre fini de termes. (La décroissance exponentielle des termes garantit que nous pouvons limiter la taille des termes supprimés à un niveau inférieur au niveau souhaité.) En pratique, il est facile de prendre un grand nombre de termes jusqu'à ce que la taille des termes restants soit extrêmement petite.$n$

---

Programmation de ceci dans R: Vous pouvez programmer ceci comme une fonction en Rutilisant le code ci-dessous. Ce code a été vectorisé pour générer un tableau de puissances de la matrice de transition pour une séquence finie de mouvements. Nous générons également un graphique de la probabilité que la pomme n'ait pas été atteinte, montrant que cela diminue de façon exponentielle.

#Create function to give n-step transition matrix for n = 1,...,N
#N is the last value of n
PROB <- function(N) { P <- matrix(c(1, 0, 0, 0, 0, 
                                    1/2, 0, 1/2, 0, 0, 
                                    0, 1/2, 0, 1/2, 0,
                                    0, 0, 1/2, 0, 1/2,
                                    1/2, 0, 0, 1/2, 0),
                                  nrow = 5, ncol = 5, 
                                  byrow = TRUE);
                      PPP <- array(0, dim = c(5,5,N));
                      PPP[,,1] <- P;
                      for (n in 2:N) { PPP[,,n] <- PPP[,,n-1] %*% P; } 
                      PPP }

#Calculate probabilities of reaching apple for n = 1,...,100
N  <- 100;
DF <- data.frame(Probability = PROB(N)[3,1,], Moves = 1:N);

#Plot probability of not having reached apple
library(ggplot2);
FIGURE <- ggplot(DF, aes(x = Moves, y = 1-Probability)) +
          geom_point() +
          scale_y_log10(breaks = scales::trans_breaks("log10", function(x) 10^x),
                        labels = scales::trans_format("log10", 
                                 scales::math_format(10^.x))) +
          ggtitle('Probability that worm has not reached apple') +
          xlab('Number of Moves') + ylab('Probability');
FIGURE;

#Calculate expected number of moves to get to apple
#Calculation truncates the infinite sum at N = 100
#We add one to represent the term for n = 0
EXP <- 1 + sum(1-DF$Probability);
EXP;

[1] 6

Comme vous pouvez le voir sur ce calcul, le nombre attendu de mouvements pour se rendre à la pomme est de six. Ce calcul a été extrêmement rapide en utilisant le code vectorisé ci-dessus pour la chaîne de Markov.

Je veux juste illustrer une façon simple de regarder la partie (a) sans passer par toute la routine de la chaîne de Markov. Il y a deux classes d'états à se soucier: être à un pas et être à deux pas (C et D sont identiques en termes d'étapes attendues jusqu'à atteindre A, et B et E sont identiques). Soit " " le nombre de pas qu'il faut du sommet et ainsi de suite.$S_B$$B$

$E(S_C) = 1+\frac12[E(S_B)+E(S_D)] = 1+ \frac12[E(S_B)+E(S_C)]$

De même, écrivez une équation pour l'espérance pour .$E(S_B)$

Remplacez la seconde par la première (et pour plus de commodité, écrivez pour ) et vous obtenez une solution pour en quelques lignes.E ( S C ) $c$$E(S_C)$$c$

Le problème

Cette chaîne de Markov a trois états, distingués selon que le ver est à ou espaces de Soit la variable aléatoire donnant le nombre de pas que le ver prendra pour atteindre partir de l'état Leurs fonctions de génération de probabilités sont un moyen algébrique pratique pour coder les probabilités de ces variables. Il n'est pas nécessaire de s'inquiéter de problèmes analytiques comme la convergence: il suffit de les considérer comme des séries de puissance formelles dans un symbole donné par1 , $0,$ $1,$$2$X i C i ∈ { 0 , 1 , 2 } . $C.$$X_i$$C$$i\in\{0,1,2\}.$$t$

$$f_i(t) = \Pr(X_i=0) + \Pr(X_i=1)t^1 + \Pr(X_i=2)t^2 + \cdots + \Pr(X_i=n)t^n + \cdots$$

Puisque il est trivial que Nous devons trouver$\Pr(X_0=0)=1,$$f_0(t)=1.$$f_2.$

Analyse et solution

De l' état la vis sans fin a des chances égales de de déplacement de retour à l' état ou atteignant . La prise en compte de cette étape ajoute à toutes les puissances de , ce qui revient à multiplier le pgf par , donnant$1,$$1/2$$2$$C$$1$$t$$t$

$$f_1 = \frac{1}{2}t\left(f_2 + f_0\right).$$

De même, à partir de l'état le ver a des chances égales de rester dans l'état ou d'atteindre l'état où$2$$2$$1,$

$$f_2 = \frac{1}{2}t\left(f_2 + f_1\right).$$

L'apparition de suggère que notre travail sera facilité en introduisant la variable donnant$t/2$$x=t/2,$

$$f_1(x) = x(f_2(x) + f_0(x));\quad f_2(x) = x(f_2(x) + f_1(x)).$$

La substitution du premier au second et le rappel de donne$f_0=1$

$$f_2(x) = x(f_2(x) + x(f_2(x) + 1))\tag{*}$$

dont la solution unique est

$$f_2(x) = \frac{x^2}{1 - x - x^2}.\tag{**}$$

J'ai mis en évidence l'équation pour souligner sa simplicité de base et sa similitude formelle avec l'équation que nous obtiendrions en analysant uniquement les valeurs attendues en effet, pour la même quantité de travail qu'il faut pour trouver ce numéro, nous obtenons la distribution entière.$(*)$$E[X_i]:$

Implications et simplification

De manière équivalente, lorsque est écrit terme par terme et que les puissances de sont appariées, il affirme que pour$(*)$$t$$n\ge 4,$

$$2^n\Pr(X_2=n) = 2^{n-1}\Pr(X_2=n-1) + 2^{n-2}\Pr(X_2=n-2).$$

Ceci est la récurrence de la célèbre séquence de nombres de Fibonacci

$$(F_n) = (1,1,2,3,5,8,13,21,34,55,89,144,\ldots)$$

(indexé de ). La solution correspondant est cette séquence décalée de deux endroits (car il n'y a aucune probabilité que ou et il soit facile de vérifier que ).$n=0$$(**)$$X_2=0$$X_2=1$$2^2\Pr(X_2=2)=1=2^3\Pr(X_2=3)$

par conséquent

$$\Pr(X_2 = n) = 2^{-n-2}F_{n-2}.$$

Plus précisement,

$$\eqalign{ f_2(t) &= 2^{-2}F_0t^2 + 2^{-3}F_1 t^3 + 2^{-4} F_2 t^4 + \cdots \\ &= \frac{1}{4}t^2 + \frac{1}{8}t^3 + \frac{2}{16}t^4 + \frac{3}{32}t^5 + \frac{5}{64}t^6 + \frac{8}{128}t^7 +\frac{13}{256}t^8 + \cdots. }$$

---

L'espérance de est facilement trouvée en évaluant la dérivée et en substituant car (en différenciant les puissances de terme par terme) cela donne la formule$X_2$$f^\prime$$t=1,$$t$

$$f^\prime(1) = \Pr(X_2=0)(0) + \Pr(X_2=1)(1)1^0 + \cdots + \Pr(X_2=n)(n)1^{n-1} + \cdots$$

qui, comme la somme des probabilités multipliée par les valeurs de est précisément la définition de Prendre la dérivée en utilisant produit une formule simple pour l'attente.$X_2,$$E[X_2].$$(**)$

---

Quelques brefs commentaires

En développant en fractions partielles, peut être écrit comme la somme de deux séries géométriques. Cela montre immédiatement que les probabilités diminueront exponentiellement. Il fournit également une forme fermée pour les probabilités de queue En utilisant cela, nous pouvons rapidement calculer que est un peu moins de$(**)$$f_2$$\Pr(X_2=n)$$\Pr(X_2 \gt n).$$\Pr(X_2 \ge 100)$$10^{-9}.$

Enfin, ces formules impliquent le nombre d' or Ce nombre est la longueur d'un accord d'un pentagone régulier (du côté de l'unité), donnant une connexion frappante entre une chaîne de Markov purement combinatoire sur le pentagone (qui "ne sait rien" de la géométrie euclidienne) et la géométrie d'un pentagone régulier dans le Plan euclidien.$\phi = (1 + \sqrt{5})/2.$

Pour le nombre moyen de jours jusqu'au dîner, conditionnez-vous à l'étape prise le premier jour. Soit le nombre de jours avant que le ver ne prenne la pomme. Soit la première étape.$X$$F$

Ensuite nous avons

$$E[X]=E[X|F=B] \ [P(F=B)]+E[X|F=D] \ P[F=D]$$

Si la première étape est vers alors soit le ver prend la pomme au jour 2 avec une probabilité de moitié, soit il revient au sommet avec une probabilité de moitié et il recommence. Nous pouvons écrire ceci comme$B,$$C$

$$E[X|F=B]=2 \left( \frac{1}{2} \right) + \left(2+E[X] \right) \left( \frac{1}{2} \right)=2+\frac{E[X]}{2}$$

Si la première étape est vers alors par symétrie c'est la même chose que d'être au sommet sauf que le ver a fait une seule étape donc$D,$$C$

$$E[X|F=D]=1+E[X]$$

En mettant tout cela ensemble, nous obtenons

$$E[X] = \left( 2+\frac{E[X]}{2} \right)\left( \frac{1}{2} \right) + \left( 1 + E[X] \right)\left( \frac{1}{2} \right)$$

Résolution des rendements$E[X]$

$$E[X] = 6$$