Dériver l'équation de Bellman dans l'apprentissage par renforcement

Je vois l'équation suivante dans " In Reinforcement Learning. An Introduction ", mais ne suivez pas tout à fait l'étape que j'ai mise en évidence en bleu ci-dessous. Comment cette étape est-elle exactement dérivée?

Ceci est la réponse pour tous ceux qui se posent des questions sur les mathématiques propres et structurées (c'est-à-dire si vous appartenez au groupe de personnes qui sait ce qu'est une variable aléatoire et que vous devez montrer ou supposer qu'une variable aléatoire a une densité, alors c'est la réponse pour vous ;-)):

Tout d'abord, nous devons avoir que le processus de décision de Markov ne dispose que d'un nombre fini de -rancières, c'est-à-dire qu'il nous faut qu'il existe un ensemble fini de densités, chacune appartenant à variables, c'est-à-dire pour tout et une carte tels que (c'est-à-dire que dans les automates derrière le MDP, il peut y avoir une infinité d'états mais il n'y a qu'un nombre fini de distributions de récompenses attachées aux transitions éventuellement infinies entre les états)$L^1$$E$$L^1$$\int_{\mathbb{R}}x \cdot e(x) dx < \infty$$e \in E$$F : A \times S \to E$

$$p(r_t|a_t, s_t) = F(a_t, s_t)(r_t)$$ $L^1$

Théorème 1 : Soit (ie une variable aléatoire réelle intégrable) et soit une autre variable aléatoire telle que ont une densité commune puis $X \in L^1(\Omega)$$Y$$X,Y$

$$E[X|Y=y] = \int_\mathbb{R} x p(x|y) dx$$

Preuve : Essentiellement prouvé ici par Stefan Hansen.

Théorème 2 : Soit et soit autres variables aléatoires telles que ont une densité commune alors où est la plage de .$X \in L^1(\Omega)$$Y,Z$$X,Y,Z$

$$E[X|Y=y] = \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz$$ $\mathcal{Z}$$Z$

Preuve :

$$\begin{align*} E[X|Y=y] &= \int_{\mathbb{R}} x p(x|y) dx \\ &~~~~\text{(by Thm. 1)}\\ &= \int_{\mathbb{R}} x \frac{p(x,y)}{p(y)} dx \\ &= \int_{\mathbb{R}} x \frac{\int_{\mathcal{Z}} p(x,y,z) dz}{p(y)} dx \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x \frac{ p(x,y,z) }{p(y)} dx dz \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x p(x|y,z)p(z|y) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) \int_{\mathbb{R}} x p(x|y,z) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz \\ &~~~~\text{(by Thm. 1)} \end{align*}$$

Mettez et mettez alors on peut montrer (en utilisant le fait que le MDP ne dispose que d'un nombre fini de ) que converge et que puisque la fonctionest toujours dans (c'est-à-dire intégrable), on peut également montrer (en utilisant la combinaison habituelle des théorèmes de convergence monotone puis de convergence dominée sur les équations définissant [les factorisations de] l'espérance conditionnelle) que Maintenant, on montre que $G_t = \sum_{k=0}^\infty \gamma^k R_{t+k}$$G_t^{(K)} = \sum_{k=0}^K \gamma^k R_{t+k}$$L^1$$G_t^{(K)}$$\sum_{k=0}^\infty \gamma^k |R_{t+k}|$$L^1(\Omega)$

$$\lim_{K \to \infty} E[G_t^{(K)} | S_t=s_t] = E[G_t | S_t=s_t]$$ $$E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1}^{(K-1)} | S_{t+1}=s_{t+1}] ds_{t+1}$$ utilisant , Thm. 2 ci-dessus puis Thm. 1 sur puis en utilisant une guerre de marginalisation simple, on montre que pour tout . Maintenant, nous devons appliquer la limite des deux côtés de l'équation. Afin de tirer la limite dans l'intégrale sur l'espace d'état nous devons faire quelques hypothèses supplémentaires:$G_t^{(K)} = R_t + \gamma G_{t+1}^{(K-1)}$$E[G_{t+1}^{(K-1)}|S_{t+1}=s', S_t=s_t]$$p(r_q|s_{t+1}, s_t) = p(r_q|s_{t+1})$$q \geq t+1$$K \to \infty$$S$

Soit l'espace d'état est fini (alors et la somme est finie) ou toutes les récompenses sont toutes positives (alors nous utilisons la convergence monotone) ou toutes les récompenses sont négatives (puis nous mettons un signe moins devant le équation et utiliser à nouveau la convergence monotone) ou toutes les récompenses sont limitées (alors nous utilisons la convergence dominée). Ensuite (en appliquant aux deux côtés de l'équation de Bellman partielle / finie ci-dessus), nous obtenons$\int_S = \sum_S$$\lim_{K \to \infty}$

$$E[G_t | S_t=s_t] = E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1} | S_{t+1}=s_{t+1}] ds_{t+1}$$

puis le reste est une manipulation de densité habituelle.

REMARQUE: Même dans des tâches très simples, l'espace d'état peut être infini! Un exemple serait la tâche d'équilibrer un pôle. L'état est essentiellement l'angle du pôle (une valeur dans , un ensemble infiniment infini!)$[0, 2\pi)$

REMARQUE: Les gens peuvent commenter la pâte, cette preuve peut être raccourcie beaucoup plus si vous utilisez directement la densité de et montrez que '... MAIS ... mes questions seraient:$G_t$$p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

1. Comment se fait-il que vous sachiez même que a une densité?$G_{t+1}$
2. Comment se fait-il que vous sachiez même que a une densité commune avec ?$G_{t+1}$$S_{t+1}, S_t$
3. Comment -vous que ? Ce n'est pas seulement la propriété Markov: La propriété Markov ne vous dit que quelque chose sur les distributions marginales mais celles-ci ne déterminent pas nécessairement la distribution entière, voir par exemple les Gaussiennes multivariées!$p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

Soit la somme totale des récompenses actualisées après le temps : $t$
$G_t = R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...$

La valeur d'utilité du démarrage dans l'état, au temps, est équivalente à la somme attendue des récompenses actualisées de l'exécution de la politique partir de l'état . Par définition de Par loi de linéarité En vertu de la loi de$s$$t$
$R$$\pi$$s$
$U_\pi(S_t=s) = E_\pi[G_t|S_t = s]$
$\\ = E_\pi[(R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...)|S_t = s]$$G_t$
$= E_\pi[(R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+...))|S_t = s]$
$= E_\pi[(R_{t+1}+\gamma (G_{t+1}))|S_t = s]$
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[ G_{t+1}|S_t = s]$
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[E_\pi(G_{t+1}|S_{t+1} = s')|S_t = s]$Attente totale Par définition de Par loi de linéarité
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[U_\pi(S_{t+1}= s')|S_t = s]$$U_\pi$
$= E_\pi[R_{t+1} + \gamma U_\pi(S_{t+1}= s')|S_t = s]$

En supposant que le processus satisfait la propriété de Markov:
probabilité de se retrouver dans l'état ayant commencé à partir de l'état et pris l'action , et récompense de se retrouver dans l'état ayant commencé à partir de l'état et pris l'action , $Pr$$s'$$s$$a$
$Pr(s'|s,a) = Pr(S_{t+1} = s', S_t=s,A_t = a)$
$R$$s'$$s$$a$
$R(s,a,s') = [R_{t+1}|S_t = s, A_t = a, S_{t+1}= s']$

Par conséquent, nous pouvons réécrire l'équation d'utilité ci-dessus comme,
$= \sum_a \pi(a|s) \sum_{s'} Pr(s'|s,a)[R(s,a,s')+ \gamma U_\pi(S_{t+1}=s')]$

Où; : probabilité de prendre action dans l'état pour une politique stochastique. Pour la politique déterministe,$\pi(a|s)$$a$$s$$\sum_a \pi(a|s)= 1$

Voici ma preuve. Il est basé sur la manipulation de distributions conditionnelles, ce qui le rend plus facile à suivre. J'espère que celui-ci vous aidera.

$$\begin{align} v_{\pi}(s)&=E{\left[G_t|S_t=s\right]} \nonumber \\ &=E{\left[R_{t+1}+\gamma G_{t+1}|S_t=s\right]} \nonumber \\ &= \sum_{s'}\sum_{r}\sum_{g_{t+1}}\sum_{a}p(s',r,g_{t+1}, a|s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r,g_{t+1} |a, s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r|a, s)p(g_{t+1}|s', r, a, s)(r+\gamma g_{t+1}) \nonumber \\ &\text{Note that $p(g_{t+1}|s', r, a, s)=p(g_{t+1}|s')$ by assumption of MDP} \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\sum_{g_{t+1}}p(g_{t+1}|s')(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)(r+\gamma\sum_{g_{t+1}}p(g_{t+1}|s')g_{t+1}) \nonumber \\ &=\sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\left(r+\gamma v_{\pi}(s')\right) \label{eq2} \end{align}$$ C'est la fameuse équation de Bellman.

Quelle est l'approche suivante?

$$\begin{align} v_\pi(s) & = \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \sum_a \pi(a \mid s) \sum_{s'} \sum_r p(s', r \mid s, a) \cdot \,\\ & \qquad \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_{t} = s, A_{t+1} = a, S_{t+1} = s', R_{t+1} = r\right] \\ & = \sum_a \pi(a \mid s) \sum_{s', r} p(s', r \mid s, a) \left[r + \gamma v_\pi(s')\right]. \end{align}$$

Les sommes sont introduites afin de récupérer , et de . Après tout, les actions possibles et les prochains états possibles peuvent être. Avec ces conditions supplémentaires, la linéarité de l'attente conduit au résultat presque directement.$a$$s'$$r$$s$

Je ne suis pas sûr de la rigueur mathématique de mon argument. Je suis ouvert aux améliorations.

Ceci est juste un commentaire / ajout à la réponse acceptée.

J'étais confus à la ligne où la loi de l'espérance totale est appliquée. Je ne pense pas que la principale forme de loi de l'attente totale puisse aider ici. Une variante de cela est en fait nécessaire ici.

Si sont des variables aléatoires et en supposant que toutes les attentes existent, alors l'identité suivante est vérifiée:$X,Y,Z$

$E[X|Y] = E[E[X|Y,Z]|Y]$

Dans ce cas, , et . ensuite$X= G_{t+1}$$Y = S_t$$Z = S_{t+1}$

$E[G_{t+1}|S_t=s] = E[E[G_{t+1}|S_t=s, S_{t+1}=s'|S_t=s]$ , qui, par la propriété de Markov, équivaut à$E[E[G_{t+1}|S_{t+1}=s']|S_t=s]$

De là, on pourrait suivre le reste de la preuve de la réponse.

dénote généralement l'attente en supposant que l'agent suit la politiqueπ. Dans ce cas,π(a | s)semble non déterministe, c'est-à-dire qu'il renvoie la probabilité que l'agent agissealorsqu'il est dans l'états.$\mathbb{E}_\pi(\cdot)$$\pi$$\pi(a|s)$$a$$s$

Il semble que , en minuscules, remplace R t + 1 , une variable aléatoire. La deuxième attente remplace la somme infinie, pour refléter l'hypothèse que nous continuons à suivre π pour tout t futur . ∑ s ′ , r r ⋅ p ( s ′ , r | s , a ) est alors la récompense immédiate attendue au pas de temps suivant; La deuxième attente - qui devient v π - est la valeur attendue de l'état suivant, pondérée par la probabilité de se retrouver dans l'état $r$$R_{t+1}$$\pi$$t$$\sum_{s',r} r \cdot p(s′,r|s,a)$$v_\pi$ Ayant pris un de l' al .$s'$$a$$s$

Ainsi, l'espérance tient compte de la probabilité politique ainsi que des fonctions de transition et de récompense, ici exprimées ensemble par .$p(s', r|s,a)$

même si la bonne réponse a déjà été donnée et qu'un certain temps s'est écoulé, j'ai pensé que le guide étape par étape suivant pourrait être utile:
par linéarité de la valeur attendue, nous pouvons diviser $E[R_{t+1} + \gamma E[G_{t+1}|S_{t}=s]]$ en $E[R_{t+1}|S_t=s]$ et $\gamma E[G_{t+1}|S_{t}=s]$ .
Je décrirai les étapes uniquement pour la première partie, car la deuxième partie suit par les mêmes étapes combinées avec la loi de l'attente totale.

$$\begin{align} E[R_{t+1}|S_t=s]&=\sum_r{ r P[R_{t+1}=r|S_t =s]} \\ &= \sum_a{ \sum_r{ r P[R_{t+1}=r, A_t=a|S_t=s]}} \qquad \text{(III)} \\ &=\sum_a{ \sum_r{ r P[R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s]}} \\ &= \sum_{s^{'}}{ \sum_a{ \sum_r{ r P[S_{t+1}=s^{'}, R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s] }}} \\ &=\sum_a{ \pi(a|s) \sum_{s^{'},r}{p(s^{'},r|s,a)} } r \end{align}$$

Alors que (III) suit la forme:

$$\begin{align} P[A,B|C]&=\frac{P[A,B,C]}{P[C]} \\ &= \frac{P[A,B,C]}{P[C]} \frac{P[B,C]}{P[B,C]}\\ &= \frac{P[A,B,C]}{P[B,C]} \frac{P[B,C]}{P[C]}\\ &= P[A|B,C] P[B|C] \end{align}$$

Je sais qu'il existe déjà une réponse acceptée, mais je souhaite fournir une dérivation probablement plus concrète. Je voudrais également mentionner que bien que l'astuce @Jie Shi ait un certain sens, mais cela me met très mal à l'aise :(. Nous devons prendre en compte la dimension temporelle pour que cela fonctionne. Et il est important de noter que l'attente est en fait pris sur tout l'horizon infini, plutôt que juste sur $s$ et $s'$ . Supposons que nous partions de $t=0$ (en fait, la dérivation est la même quel que soit le temps de départ; je ne veux pas contaminer les équations avec un autre indice $k$ )

$$\begin{align} v_{\pi}(s_0)&=\mathbb{E}_{\pi}[G_{0}|s_0]\\ G_0&=\sum_{t=0}^{T-1}\gamma^tR_{t+1}\\ \mathbb{E}_{\pi}[G_{0}|s_0]&=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(\sum_{t=0}^{T-1}\gamma^tr_{t+1}\Big)\bigg)\\ &=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(r_1+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)\bigg) \end{align}$$ NOTED THAT THE ABOVE EQUATION HOLDS EVEN IF $T\rightarrow\infty$, IN FACT IT WILL BE TRUE UNTIL THE END OF UNIVERSE (maybe be a bit exaggerated :) )
At this stage, I believe most of us should already have in mind how the above leads to the final expression--we just need to apply sum-product rule($\sum_a\sum_b\sum_cabc\equiv\sum_aa\sum_bb\sum_cc$) painstakingly. Let us apply the law of linearity of Expectation to each term inside the $\Big(r_{1}+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)$

Part 1

$$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\times r_1\bigg)$$

Well this is rather trivial, all probabilities disappear (actually sum to 1) except those related to $r_1$. Therefore, we have

$$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times r_1$$

Part 2
Guess what, this part is even more trivial--it only involves rearranging the sequence of summations.

$$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\bigg)\\=\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\bigg(\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg)$$

And Eureka!! we recover a recursive pattern in side the big parentheses. Let us combine it with $\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}$, and we obtain $v_{\pi}(s_1)=\mathbb{E}_{\pi}[G_1|s_1]$

$$\gamma\mathbb{E}_{\pi}[G_1|s_1]=\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg(\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\bigg)$$
and part 2 becomes $$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \gamma v_{\pi}(s_1)$$

Part 1 + Part 2

$$v_{\pi}(s_0) =\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \Big(r_1+\gamma v_{\pi}(s_1)\Big)$$

And now if we can tuck in the time dimension and recover the general recursive formulae

$$v_{\pi}(s) =\sum_a \pi(a|s)\sum_{s',r} p(s',r|s,a)\times \Big(r+\gamma v_{\pi}(s')\Big)$$

Final confession, I laughed when I saw people above mention the use of law of total expectation. So here I am

There are already a great many answers to this question, but most involve few words describing what is going on in the manipulations. I'm going to answer it using way more words, I think. To start,

$$G_{t} \doteq \sum_{k=t+1}^{T} \gamma^{k-t-1} R_{k}$$

is defined in equation 3.11 of Sutton and Barto, with a constant discount factor $0 \leq \gamma \leq 1$ and we can have $T = \infty$ or $\gamma = 1$, but not both. Since the rewards, $R_{k}$, are random variables, so is $G_{t}$ as it is merely a linear combination of random variables.

$$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] + \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] \end{align}$$

That last line follows from the linearity of expectation values. $R_{t+1}$ is the reward the agent gains after taking action at time step $t$. For simplicity, I assume that it can take on a finite number of values $r \in \mathcal{R}$.

Work on the first term. In words, I need to compute the expectation values of $R_{t+1}$ given that we know that the current state is $s$. The formula for this is

$$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} r p(r|s). \end{align}$$

In other words the probability of the appearance of reward $r$ is conditioned on the state $s$; different states may have different rewards. This $p(r|s)$ distribution is a marginal distribution of a distribution that also contained the variables $a$ and $s'$, the action taken at time $t$ and the state at time $t+1$ after the action, respectively:

$$\begin{align} p(r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',a,r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \pi(a|s) p(s',r | a,s). \end{align}$$

Where I have used $\pi(a|s) \doteq p(a|s)$, following the book's convention. If that last equality is confusing, forget the sums, suppress the $s$ (the probability now looks like a joint probability), use the law of multiplication and finally reintroduce the condition on $s$ in all the new terms. It in now easy to see that the first term is

$$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} r \pi(a|s) p(s',r | a,s), \end{align}$$

as required. On to the second term, where I assume that $G_{t+1}$ is a random variable that takes on a finite number of values $g \in \Gamma$. Just like the first term:

$$\begin{align} \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] = \sum_{g \in \Gamma} g p(g|s). \qquad\qquad\qquad\qquad (*) \end{align}$$

Once again, I "un-marginalize" the probability distribution by writing (law of multiplication again)

$$\begin{align} p(g|s) & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',r,a,g|s) = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r, a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s') p(s', r | a, s) \pi(a | s) \qquad\qquad\qquad\qquad (**) \end{align}$$

The last line in there follows from the Markovian property. Remember that $G_{t+1}$ is the sum of all the future (discounted) rewards that the agent receives after state $s'$. The Markovian property is that the process is memory-less with regards to previous states, actions and rewards. Future actions (and the rewards they reap) depend only on the state in which the action is taken, so $p(g | s', r, a, s) = p(g | s')$, by assumption. Ok, so the second term in the proof is now

$$\begin{align} \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] & = \gamma \sum_{g \in \Gamma} \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} g p(g | s') p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \mathbb{E}_{\pi}\left[ G_{t+1} | S_{t+1} = s' \right] p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} v_{\pi}(s') p(s', r | a, s) \pi(a | s) \end{align}$$

as required, once again. Combining the two terms completes the proof

$$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \sum_{a \in \mathcal{A}} \pi(a | s) \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} p(s', r | a, s) \left[ r + \gamma v_{\pi}(s') \right]. \end{align}$$

UPDATE

I want to address what might look like a sleight of hand in the derivation of the second term. In the equation marked with $(*)$, I use a term $p(g|s)$ and then later in the equation marked $(**)$ I claim that $g$ doesn't depend on $s$, by arguing the Markovian property. So, you might say that if this is the case, then $p(g|s) = p(g)$. But this is not true. I can take $p(g | s', r, a, s) \rightarrow p(g | s')$ because the probability on the left side of that statement says that this is the probability of $g$ conditioned on $s'$, $a$, $r$, and $s$. Because we either know or assume the state $s'$, none of the other conditionals matter, because of the Markovian property. If you do not know or assume the state $s'$, then the future rewards (the meaning of $g$) will depend on which state you begin at, because that will determine (based on the policy) which state $s'$ you start at when computing $g$.

If that argument doesn't convince you, try to compute what $p(g)$ is:

$$\begin{align} p(g) & = \sum_{s' \in \mathcal{S}} p(g, s') = \sum_{s' \in \mathcal{S}} p(g | s') p(s') \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', a, r, s) \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', r | a, s) p(a, s) \\ & = \sum_{s \in \mathcal{S}} p(s) \sum_{s' \in \mathcal{S}} p(g | s') \sum_{a,r} p(s', r | a, s) \pi(a | s) \\ & \doteq \sum_{s \in \mathcal{S}} p(s) p(g|s) = \sum_{s \in \mathcal{S}} p(g,s) = p(g). \end{align}$$

As can be seen in the last line, it is not true that $p(g|s) = p(g)$. The expected value of $g$ depends on which state you start in (i.e. the identity of $s$), if you do not know or assume the state $s'$.