Qu'est-ce que la fonction Q et quelle est la fonction V dans l'apprentissage par renforcement?

30

Il me semble que la fonction $V$ peut être facilement exprimée par la fonction $Q$ et donc la fonction $V$ me semble superflue. Cependant, je suis nouveau dans l'apprentissage par renforcement, donc je suppose que je me suis trompé.

Définitions

L'apprentissage Q et V s'inscrit dans le contexte des processus de décision de Markov . Un MDP est un 5-tuple $(S, A, P, R, \gamma)$ avec

$S$ est un ensemble d'états (généralement finis)
$A$ est un ensemble d'actions (généralement finies)
$P(s, s', a) = P(s_{t+1} = s' | s_t = s, a_t = a)$ est la probabilité de passer de l'état $s$ à l'état $s'$ avec l'action $a$ .
$R(s, s', a) \in \mathbb{R}$ est la récompense immédiate après être passé de l'état $s$ à l'état $s'$ avec l'action $a$ . (Il me semble que généralement $s'$ questions).
$\gamma \in [0, 1]$ est appelé facteur d'actualisation et détermine si l'on se concentre sur les récompenses immédiates ( $\gamma = 0$ ), la récompense totale ( $\gamma = 1$ ) ou certains compromis.

Une politique $\pi$ , selon Reinforcement Learning: An Introduction de Sutton et Barto, est une fonction $\pi: S \rightarrow A$ (cela pourrait être probabiliste).

D'après les diapositives de Mario Martins , la fonction $V$ est

V^{π} (s) = E_{π} {R_{t} | s_{t} = s} = E_{π} {\sum_{k = 0}^{\infty} γ^{k} r_{t + k + 1} | s_{t} = s}

$V^\pi(s) = E_\pi \{R_t | s_t = s\} = E_\pi \{\sum_{k=0}^\infty \gamma^k r_{t+k+1} | s_t = s\}$ et la fonction

est

Q^{π} (s, a) = E_{π} {R_{t} | s_{t} = s, a_{t} = a} = E_{π} {\sum_{k = 0}^{\infty} γ^{k} r_{t + k + 1} | s_{t} = s, a_{t} = a}

$Q^\pi(s, a) = E_\pi \{R_t | s_t = s, a_t = a\} = E_\pi \{\sum_{k=0}^\infty \gamma^k r_{t+k+1} | s_t = s, a_t=a\}$

Mes pensées

La fonction $V$ indique quelle est la valeur globale attendue (pas la récompense!) D'un état $s$ sous la politique $\pi$ .

La fonction indique quelle est la valeur d'un état et d'une action sous la politique . $Q$ $s$ $a$ $\pi$

Cela signifie que

Q^{π} (s, π (s)) = V^{π} (s)

$Q^\pi(s, \pi(s)) = V^\pi(s)$

Droite? Alors, pourquoi avons-nous la fonction de valeur? (Je suppose que j'ai mélangé quelque chose)

machine-learning reinforcement-learning

— Martin Thoma
source

15

Les valeurs Q sont un excellent moyen de rendre les actions explicites afin que vous puissiez traiter les problèmes où la fonction de transition n'est pas disponible (sans modèle). Cependant, lorsque votre espace d'action est grand, les choses ne sont pas si agréables et les valeurs Q ne sont pas si pratiques. Pensez à un grand nombre d'actions ou même à des espaces d'action continus.

Du point de vue de l'échantillonnage, la dimensionnalité de $Q(s, a)$ est supérieure à $V(s)$ , il peut donc être plus difficile d'obtenir suffisamment d' échantillons $(s, a)$ par rapport à $(s)$ . Si vous avez accès à la fonction de transition, parfois $V$ est bon.

Il existe également d'autres utilisations où les deux sont combinées. Par exemple, la fonction d'avantage où $A(s, a) = Q(s, a) - V(s)$ . Si vous êtes intéressé, vous pouvez trouver un exemple récent en utilisant les fonctions d'avantage ici:

Architectures de réseau de duels pour un apprentissage par renforcement profond

par Ziyu Wang, Tom Schaul, Matteo Hessel, Hado van Hasselt, Marc Lanctot et Nando de Freitas.

— Juan Leni
source

19

$V^\pi(s)$ est la fonction état-valeur du MDP (Markov Decision Process). C'est le retour attendu à partir de l'état $s$ suivant la politique $\pi$ .

Dans l'expression

V^{π} (s) = E_{π} {G_{t} | s_{t} = s}

$V^\pi(s) = E_\pi \{G_t | s_t = s\}$

$G_t$ est la récompense REMISE totale du pas de temps $t$ , par opposition à $R_t$ qui est un retour immédiat. Ici, vous prenez l'attente de TOUTES les actions selon la politique $\pi$ .

$Q^\pi(s, a)$ est la fonction valeur-action. C'est le retour attendu à partir de l'état $s$ , suivant la politique $\pi$ , en prenant l'action $a$ . Il se concentre sur l'action particulière à l'état particulier.

Q^{π} (s, a) = E_{π} {G_{t} | s_{t} = s, a_{t} = a}

$Q^\pi(s, a) = E_\pi \{G_t | s_t = s, a_t = a\}$

La relation entre $Q^\pi$ et $V^\pi$ (la valeur d'être dans cet état) est

V^{π} (s) = \sum_{a \in A} π (a | s) * Q^{π} (a, s)

$V^\pi(s) = \sum_{a ∈ A} \pi (a|s) * Q^\pi(a,s)$

Vous additionnez chaque valeur d'action multipliée par la probabilité de prendre cette action (la politique $\pi(a|s)$ ).

Si vous pensez à l'exemple du monde de la grille, vous multipliez la probabilité de (haut / bas / droite / gauche) par la valeur d'état un pas en avant de (haut / bas / droite / gauche).

— Aaron
source

5

Ceci est la réponse la plus concise.

— Brett

V^{π} (s) = max_{a \in A} Q^{π} (s, a)

$V^\pi(s) = \max_{a \in A} Q^\pi(s, a)$

V^{π} (s) = \sum_{a \in A} π (a ∣ s) * Q^{π} (a, s)

$V^\pi(s) = \sum_{a \in A} \pi (a \mid s) * Q^\pi(a, s)$

V

$V$

Q

$Q$

V

$V$

Q

$Q$

@nbro Je pense que cela dépend du type de politique que vous suivez. Dans une politique purement gourmande, vous avez raison. Mais s'il s'agissait d'une politique plus exploratoire, conçue pour décider stochastiquement d'une action, alors ce qui précède serait correct

— deltaskelta

7

$V$ $Q$ $\pi$ $V$ $Q$

Q (s, a) = r (s, a) + γ V^{*} (δ (s, a))

$Q(s,a ) = r(s,a ) + \gamma V^{*}(\delta(s,a))$

Q

$Q$

V^{*} (s) = max_{a^{'}} Q (s, a^{'})

$V^{*}(s)= \max_{a'} Q(s,a')$

Q

$Q$

V^{*}

$V^*$

Q (s, a) = r (s, a) + γ max_{a^{'}} Q (δ (s, a), a^{'})

$Q(s, a) = r(s, a) + \gamma \max_{a'} Q(\delta(s, a), a')$

Cela peut sembler étrange au premier abord, car il exprime la valeur Q d'une action dans l'état actuel en termes de la meilleure valeur Q d'un état successeur , mais cela a du sens lorsque vous regardez comment le processus de sauvegarde l'utilise: l'exploration le processus s'arrête lorsqu'il atteint un état objectif et recueille la récompense, qui devient la valeur Q de cette transition finale. Dans un épisode de formation ultérieur, lorsque le processus d'exploration atteint cet état prédécesseur, le processus de sauvegarde utilise l'égalité ci-dessus pour mettre à jour la valeur Q actuelle de l'état prédécesseur. La prochaine fois que lale prédécesseur est visité pour que la valeur Q de l'état soit mise à jour, et ainsi de suite sur la ligne (le livre de Mitchell décrit une manière plus efficace de le faire en stockant tous les calculs et en les rejouant plus tard). À condition que chaque état soit visité à l'infini souvent, ce processus calcule finalement le Q optimal

$\alpha$

Q (s, a) = (1 - α) Q (s, a) + α (r (s, a) + γ max_{a^{'}} Q (s^{'}, a^{'}))

$Q(s, a) = (1-\alpha)Q(s, a) + \alpha(r(s, a) + \gamma \max_{a'} Q(s',a'))$

= Q (s, a) + α (r (s, a) + γ max_{a^{'}} Q (s^{'}, a^{'}) - Q (s, a))

$= Q(s, a) + \alpha(r(s, a) + \gamma \max_{a'} Q(s',a') - Q(s,a))$

α

$\alpha$

α

$\alpha$

α

$\alpha$

α

$\alpha$

α

$\alpha$

— SN
source

0

$\pi$

\begin{aligned} v_{π} (s) = E [G_{t} | S_{t} = s] \\ q_{π} (s, a) = E [G_{t} | S_{t} = s, A_{t} = a] \end{aligned}

$\begin{align} &v_{\pi}(s)=E{\left[G_t|S_t=s\right]} \\ &q_{\pi}(s,a)=E{\left[G_t|S_t=s, A_t=a\right]} \end{align}$

G_{t} = \sum_{k = 0}^{\infty} γ^{k} R_{t + k + 1}

$G_t=\sum_{k=0}^{\infty}\gamma^kR_{t+k+1}$

t

$t$

\begin{aligned} v_{π} (s) & = E [G_{t} | S_{t} = s] \\ = \sum_{g_{t}} p (g_{t} | S_{t} = s) g_{t} \\ = \sum_{g_{t}} \sum_{a} p (g_{t}, a | S_{t} = s) g_{t} \\ = \sum_{a} p (a | S_{t} = s) \sum_{g_{t}} p (g_{t} | S_{t} = s, A_{t} = a) g_{t} \\ = \sum_{a} p (a | S_{t} = s) E [G_{t} | S_{t} = s, A_{t} = a] \\ = \sum_{a} p (a | S_{t} = s) q_{π} (s, a) \end{aligned}

$\begin{align} v_{\pi}(s)&=E{\left[G_t|S_t=s\right]} \nonumber \\ &=\sum_{g_t} p(g_t|S_t=s)g_t \nonumber \\ &= \sum_{g_t}\sum_{a}p(g_t, a|S_t=s)g_t \nonumber \\ &= \sum_{a}p(a|S_t=s)\sum_{g_t}p(g_t|S_t=s, A_t=a)g_t \nonumber \\ &= \sum_{a}p(a|S_t=s)E{\left[G_t|S_t=s, A_t=a\right]} \nonumber \\ &= \sum_{a}p(a|S_t=s)q_{\pi}(s,a) \end{align}$

v_{π} (s) = q_{π} (s, π (s))

$v_{\pi}(s)=q_{\pi}(s,\pi(s))$ https://stats.stackexchange.com/questions/347268/proof-of-bellman-optimality-equation/370198#370198 )

— Jie Shi
source

0

La fonction de valeur est une formulation abstraite d'utilité. Et la fonction Q est utilisée pour l'algorithme Q-learning.

— Emmanuel
source

V

$V$

Q

$Q$