En quoi consiste exactement l'amorçage dans l'apprentissage par renforcement?

Apparemment, dans l'apprentissage par renforcement, la méthode de la différence temporelle (TD) est une méthode d'amorçage. En revanche, les méthodes Monte Carlo ne sont pas des méthodes d'amorçage.

En quoi consiste exactement l'amorçage dans RL? Qu'est-ce qu'une méthode d'amorçage en RL?

reinforcement-learning

— nbro
source

Le bootstrapping dans RL peut être lu comme "utilisant une ou plusieurs valeurs estimées dans l'étape de mise à jour pour le même type de valeur estimée".

Dans la plupart des règles de mise à jour de TD, vous verrez quelque chose comme cette mise à jour SARSA (0):

Q (s, a) \leftarrow Q (s, a) + α (R_{t + 1} + γ Q (s^{'}, a^{'}) - Q (s, a))

$Q(s,a) \leftarrow Q(s,a) + \alpha(R_{t+1} + \gamma Q(s',a') - Q(s,a))$

La valeur $R_{t+1} + \gamma Q(s',a')$ est une estimation de la vraie valeur de $Q(s,a)$ , également appelée cible TD. Il s'agit d'une méthode d'amorçage car nous utilisons en partie une valeur Q pour mettre à jour une autre valeur Q. Il existe une petite quantité de données réelles observées sous la forme de $R_{t+1}$ , la récompense immédiate pour l'étape, ainsi que dans la transition d'état $s \rightarrow s'$ .

Contrairement à Monte Carlo où la règle de mise à jour équivalente peut être:

Q (s, a) \leftarrow Q (s, a) + α (G_{t} - Q (s, a))

$Q(s,a) \leftarrow Q(s,a) + \alpha(G_{t} - Q(s,a))$

Où $G_{t}$ était la récompense totale actualisée au temps $t$ , en supposant dans cette mise à jour, qu'elle a commencé dans l'état $s$ , en prenant l'action $a$ , puis a suivi la politique actuelle jusqu'à la fin de l'épisode. Techniquement, $G_t = \sum_{k=0}^{T-t-1} \gamma^k R_{t+k+1}$ où $T$ est le pas de temps pour la récompense finale et l'état. Notamment, cette valeur cible n'utilise aucune estimation existante (à partir d'autres valeurs Q), elle utilise uniquement un ensemble d'observations (c.-à-d. Des récompenses) de l'environnement. En tant que tel, il est garanti qu'il s'agit d'une estimation non biaisée de la vraie valeur de $Q(s,a)$ , car il s'agit techniquement d'un échantillon de $Q(s,a)$ .

Le principal inconvénient du bootstrapping est qu'il est biaisé vers quelles que soient vos valeurs de départ de $Q(s',a')$ (ou $V(s')$ ). Ce sont probablement des erreurs, et le système de mise à jour peut être instable dans son ensemble en raison de trop d'auto-référence et pas assez de données réelles - c'est un problème avec l'apprentissage hors politique (par exemple Q-learning) en utilisant des réseaux de neurones.

Sans amorçage, en utilisant des trajectoires plus longues, il y a souvent une variance élevée à la place, ce qui, en pratique, signifie que vous avez besoin de plus d'échantillons avant que les estimations convergent. Ainsi, malgré les problèmes de bootstrap, s'il peut fonctionner, il peut apprendre beaucoup plus rapidement et est souvent préféré aux approches de Monte Carlo.

Vous pouvez faire un compromis entre les méthodes basées sur des échantillons Monte Carlo et les méthodes TD en une seule étape qui démarrent en utilisant un mélange de résultats provenant de trajectoires de longueur différentes. C'est ce qu'on appelle l' apprentissage TD ( $\lambda$ ) , et il existe une variété de méthodes spécifiques telles que SARSA ( $\lambda$ ) ou Q ( $\lambda$ ).

— Neil Slater
source

Cela devrait probablement être une autre question. Cependant, si vous voulez répondre, pourquoi exactement

et une estimation pour

R_{t + 1} + γ Q (s^{'}, a^{'})

$R_{t+1} + \gamma Q(s',a')$

Q (s, a)

$Q(s, a)$

— nbro

@nbro: Parce qu'à la convergence,

(ces équations et la plupart des RL sont pilotées par les équations de Bellman pour les MDP). En regardant un événement réel qui s'est produit à partir de l'état

et de l'action

Q (s, a) = E [R_{t + 1} + γ Q (S_{t + 1}, A_{t + 1}) | S_{t} = s, A_{t} = a]

$Q(s,a) = \mathbb{E}[R_{t+1} + \gamma Q(S_{t+1},A_{t+1}) | S_t = s, A_t =a]$

s

$s$

a

$a$ , vous échantillonnez essentiellement à partir de cette attente. Le problème est cependant que la valeur que vous avez pour

n'a probablement pas encore convergé, donc l'échantillon est biaisé.

Q (S_{t + 1}, A_{t + 1})

$Q(S_{t+1},A_{t+1})$

— Neil Slater

Qu'est-ce qui empêche d'utiliser des méthodes MC comme phase de gravure avant de passer au bootstrap? Ou pourrait-on considérer cela comme un sous-cas de

λ - T D

$\lambda-TD$

— n1k31t4

@ n1k31t4: Rien n'empêche de faire cela, et ce devrait être une approche RL valide. Ce serait différent de TD (

), mais motivé par la même idée d'essayer d'obtenir de bonnes fonctionnalités des deux algorithmes. Vous auriez besoin de l'essayer et de comparer l'efficacité d'apprentissage avec TD (

) - vous avez toujours un hyper paramètre à régler, qui est le nombre d'épisodes pour exécuter MC. Une version plus générale consisterait à permettre à

de changer - commencez par

et diminuez-le jusqu'à par exemple

ou la valeur qui semble la plus optimale. Cependant, cela a 2 hyper paramètres, taux de désintégration et cible pour

λ

$\lambda$

λ

$\lambda$

λ

$\lambda$

λ = 1

$\lambda = 1$

0.4

$0.4$

λ

$\lambda$

— Neil Slater

@NeilSlater, lors de l'utilisation du bootstrap, peut-il converger? Je ne peux pas comprendre pourquoi il le devrait puisque Q (s ', a') n'est qu'une supposition arbitraire qui déforme alors l'estimation de Q (s, a). Aussi, pourquoi MC a-t-il une variance élevée par rapport à TD?

— d56

En général, l'amorçage dans RL signifie que vous mettez à jour une valeur basée sur certaines estimations et non sur certaines valeurs exactes . Par exemple

Mises à jour incrémentales de l'évaluation des politiques de Monte Carlo:

$V(S_t) = V(S_t) + \alpha(G_t - V(S_t))$

Mises à jour de l'évaluation des politiques de TD (0):

$V(S_t) = V(S_t) + \alpha(R_{t+1} + \gamma V(S_{t+1}) - V(S_t))$

Dans TD (0), le retour à partir de l'état est estimé (bootstrapé) par tandis que dans MC nous utilisons le retour exact . $s$ $R_{t+1} + \gamma V(S_{t+1})$ $G_t$

— plopd
source