Qu'est-ce que l'opérateur Bellman dans l'apprentissage par renforcement?

En mathématiques, l' opérateur de mot peut faire référence à plusieurs concepts distincts mais liés. Un opérateur peut être défini comme une fonction entre deux espaces vectoriels, il peut être défini comme une fonction où le domaine et le domaine de codage sont identiques, ou il peut être défini comme une fonction de fonctions (qui sont des vecteurs) à d'autres fonctions (pour exemple, l' opérateur différentiel ), c'est-à-dire une fonction d'ordre élevé (si vous êtes familier avec la programmation fonctionnelle).

Qu'est-ce que l' opérateur Bellman dans l'apprentissage par renforcement (RL)? Pourquoi en avons-nous même besoin? Comment l'opérateur Bellman est-il lié aux équations de Bellman dans RL?

reinforcement-learning terminology math

— nbro
source

Quelques articles liés à ce sujet sont les méthodes basées sur les fonctionnalités pour la programmation dynamique à grande échelle (par John N. Tsitsiklis et Benjamin Van Roy, 1996), Une analyse de l'apprentissage des différences temporelles avec approximation des fonctions (par John N. Tsitsiklis et Benjamin Van Roy, 1997) et Least-Squares Policy Iteration (par Michail G. Lagoudakis et Ronald Parr, 2003).

— nbro

Quelques autres articles connexes que j'ai trouvés sont les processus de décision de Markov généralisés: algorithmes de programmation dynamique et d'apprentissage par renforcement (par Csaba Szepesvári et Michael L. Littman, 1997) et

ϵ

$\epsilon$ -MDPs: Learning in Varying Environments (par István Szita, Bálint Takács, András Lörincz, 2002).

— nbro

La notation que j'utiliserai provient de deux conférences différentes de David Silver et est également informée par ces diapositives .

L'équation de Bellman attendue est

\begin{matrix} (1) & v_{π} (s) = \sum_{a \in A} π (a | s) (R_{s}^{a} + γ \sum_{s^{'} \in S} P_{s s^{'}}^{a} v_{π} (s^{'})) \end{matrix}

$v_\pi(s) = \sum_{a\in \cal{A}} \pi(a|s) \left(\cal{R}_s^a + \gamma\sum_{s' \in \cal{S}} \cal{P}_{ss'}^a v_\pi(s')\right) \tag 1$

Si nous laissons

\begin{matrix} (2) & P_{s s^{'}}^{π} = \sum_{a \in A} π (a | s) P_{s s^{'}}^{a} \end{matrix}

$\cal{P}_{ss'}^\pi = \sum\limits_{a \in \cal{A}} \pi(a|s)\cal{P}_{ss'}^a \tag 2$ et

\begin{matrix} (3) & R_{s}^{π} = \sum_{a \in A} π (a | s) R_{s}^{a} \end{matrix}

$\cal{R}_{s}^\pi = \sum\limits_{a \in \cal{A}} \pi(a|s)\cal{R}_{s}^a \tag 3$ alors nous pouvons réécrire

(1)

$(1)$ comme

\begin{matrix} (4) & v_{π} (s) = R_{s}^{π} + γ \sum_{s^{'} \in S} P_{s s^{'}}^{π} v_{π} (s^{'}) \end{matrix}

$v_\pi(s) = \cal{R}_s^\pi + \gamma\sum_{s' \in \cal{S}} \cal{P}_{ss'}^\pi v_\pi(s') \tag 4$

Cela peut être écrit sous forme de matrice

\begin{matrix} (5) & [\begin{matrix} v_{π} (1) \\ ⋮ \\ v_{π} (n) \end{matrix}] = [\begin{matrix} R_{1}^{π} \\ ⋮ \\ R_{n}^{π} \end{matrix}] + γ [\begin{matrix} P_{11}^{π} & \dots & P_{1 n}^{π} \\ ⋮ & ⋱ & ⋮ \\ P_{n 1}^{π} & \dots & P_{n n}^{π} \end{matrix}] [\begin{matrix} v_{π} (1) \\ ⋮ \\ v_{π} (n) \end{matrix}] \end{matrix}

$\left. \begin{bmatrix} v_\pi(1) \\ \vdots \\ v_\pi(n) \end{bmatrix}= \begin{bmatrix} \cal{R}_1^\pi \\ \vdots \\ \cal{R}_n^\pi \end{bmatrix} +\gamma \begin{bmatrix} \cal{P}_{11}^\pi & \dots & \cal{P}_{1n}^\pi\\ \vdots & \ddots & \vdots\\ \cal{P}_{n1}^\pi & \dots & \cal{P}_{nn}^\pi \end{bmatrix} \begin{bmatrix} v_\pi(1) \\ \vdots \\ v_\pi(n) \end{bmatrix} \right. \tag 5$

Ou, de façon plus compacte,

\begin{matrix} (6) & v_{π} = R^{π} + γ P^{π} v_{π} \end{matrix}

$v_\pi = \cal{R}^\pi + \gamma \cal{P}^\pi v_\pi \tag 6$

Notez que les deux côtés de $(6)$ sont $n$ -vecteurs dimensionnels. Ici $n=|\cal{S}|$ est la taille de l'espace d'état. On peut alors définir un opérateur $\cal{T}^\pi:\mathbb{R}^n\to\mathbb{R}^n$ comme

\begin{matrix} (7) & T^{π} (v) = R^{π} + γ P^{π} v \end{matrix}

$\cal{T^\pi}(v) = \cal{R}^\pi + \gamma \cal{P}^\pi v \tag 7$

pour toute $v\in \mathbb{R}^n$ . Il s'agit de l'opérateur Bellman attendu.

De même, vous pouvez réécrire l'équation d'optimalité de Bellman

\begin{matrix} (8) & v_{*} (s) = max_{a \in A} (R_{s}^{a} + γ \sum_{s^{'} \in S} P_{s s^{'}}^{a} v_{*} (s^{'})) \end{matrix}

$v_*(s) = \max_{a\in\cal{A}} \left(\cal{R}_s^a + \gamma\sum_{s' \in \cal{S}} \cal{P}_{ss'}^a v_*(s')\right) \tag 8$

comme opérateur d'optimalité Bellman

\begin{matrix} (9) & T^{*} (v) = max_{a \in A} (R^{a} + γ P^{a} v) \end{matrix}

$\cal{T^*}(v) = \max_{a\in\cal{A}} \left(\cal{R}^a + \gamma \cal{P}^a v\right) \tag 9$

Les opérateurs Bellman sont des "opérateurs" en ce sens qu'ils sont des correspondances d'un point à un autre dans l'espace vectoriel des valeurs d'état, $\mathbb{R}^n$ .

La réécriture des équations de Bellman en opérateurs est utile pour prouver que certains algorithmes de programmation dynamique (par exemple, itération de politique, itération de valeur) convergent vers un point fixe unique. Cette utilité se présente sous la forme d'un corpus de travaux existants en théorie des opérateurs, qui nous permet d'utiliser les propriétés spéciales des opérateurs de Bellman.

Plus précisément, le fait que les opérateurs de Bellman soient des contractions donne des résultats utiles qui, pour toute politique $\pi$ et tout vecteur initial $v$ ,

\begin{matrix} (10) & lim_{k \to \infty} (T^{π})^{k} v = v_{π} \end{matrix}

$\lim_{k\to\infty}(\cal{T}^\pi)^k v = v_\pi \tag{10}$

\begin{matrix} (11) & lim_{k \to \infty} (T^{*})^{k} v = v_{*} \end{matrix}

$\lim_{k\to\infty}(\cal{T}^*)^k v = v_* \tag{11}$

où $v_\pi$ est la valeur de la politique $\pi$ et $v_*$ est la valeur d'une politique optimale $\pi^*$ . La preuve est due au théorème de cartographie de contraction .

— Philip Raeisghasem
source