Q-learning avec Neural Network comme approximation de fonction

J'essaie d'utiliser un réseau neuronal afin d'approximer la valeur Q dans l'apprentissage Q comme dans les questions sur l'apprentissage Q à l'aide des réseaux de neurones . Comme suggéré dans la première réponse, j'utilise une fonction d'activation linéaire pour la couche de sortie, tandis que j'utilise toujours la fonction d'activation sigmoïde dans les couches cachées (2, bien que je puisse changer cela plus tard). J'utilise également un NN unique qui renvoie une sortie pour chaque action $Q(a)$ comme conseillé.

Cependant, l'algorithme est toujours divergent pour le simple problème d'équilibrage chariot-pôle. Donc, je crains que ma mise à jour Q soit incorrecte. Après l'initialisation, ce que j'ai fait à chaque étape est le suivant:

Calculez $Q_t(s_t)$ utilisant la propagation directe du NN pour toutes les actions.
Sélectionnez une nouvelle action, $a_t$ , atterrissez dans un nouvel état $s_t$ .
Calculez $Q_t(s_{t+1})$ utilisant la propagation directe du NN pour toutes les actions.
$Q_{t+1}(s_t,a_t)=Q_t(s_t,a_t)+\alpha_t \left[r_{t+1}+\gamma \max_a Q(s_{t+1},a) - Q_t(s_t,a_t) \right]$ $a_t$ $Q_{t+1}(s,a_t)=Q_{t}(s,a_t)$
Définissez le vecteur d'erreur sur $\mathbf{e}=Q_\mathrm{target}-Q_t=Q_{t+1}-Q_t$
Rétropropage de l'erreur via le NN afin de mettre à jour les matrices de poids.

Quelqu'un pourrait-il me signaler où je me suis trompé?

En outre, pensez-vous que je devrais également inclure un terme de biais dans la couche d'entrée et la première couche cachée (c'est-à-dire pour les fonctions sigmoïdes)? Cela fera-t-il une difference?

Merci d'avance pour votre aide. Je peux aider à clarifier la question ou partager le code si nécessaire.

neural-networks reinforcement-learning

— Enrico Anderlini
source

Votre cible doit être juste

$r_{t+1}+\gamma \max_a Q(s_{t+1},a)$ .

Notez que votre terme d'erreur (qui est correct) pourrait alors être réécrit comme $r_{t+1}+\gamma \max_a Q(s_{t+1},a) - Q_t$

qui est le terme entre crochets dans la formule de mise à jour. Cela sera multiplié par votre taux d'apprentissage NN et d'autres termes de rétropropagation pendant l'apprentissage, puis ajouté aux poids précédents, tout comme la formule de mise à jour $Q$

— rcpinto
source

Merci pour le tuyau! De cette façon, je peux éviter les erreurs numériques dans la valeur cible: comme vous le dites, il est inutile d'ajouter puis de soustraire .

Q_{t}

$Q_t$

— Enrico Anderlini

Cependant, mon apprentissage NN + Q ne converge toujours pas. Donc, si la méthode est correcte, je suppose que je vais juste essayer de jouer avec le taux d'apprentissage et le nombre de neurones dans la ou les couches cachées

— Enrico Anderlini

Oui, vous devez le faire (essayez également d'utiliser la fonction de transfert ReLU). Mais notez que Q-Learning n'a aucune garantie de convergence avec l'approximation des fonctions. Si votre prochain essai ne fonctionne pas, vous voudrez peut-être essayer Advantage Learning. Et enfin, le problème pourrait être que vos données ne sont pas iid. Vous devez donc implémenter Experience Replay.

— rcpinto

J'ai une extension à la question. Je comprends l'algorithme tel que mentionné dans la question, mais je suis confus quant aux termes et . Si la récompense pour le jeu n'est connue qu'à la fin du jeu (en cas de victoire ou de perte), comment devons-nous fournir la récompense pour une étape intermédiaire?

Q_{t + 1}

$Q_{t+1}$

r_{t + 1}

$r_{t+1}$

— Kanishka Ganguly du

Non, c'est zéro. Mais il sera lentement propagé par les valeurs Q vers les états précédents, car la valeur Q est une estimation des récompenses futures cumulatives .

— rcpinto