2
Pourquoi Q-learning ne converge-t-il pas lors de l'utilisation de l'approximation de fonction?
L'algorithme tabulaire d'apprentissage Q est garanti pour trouver la fonction QQQ optimale , Q∗Q∗Q^* , à condition que les conditions suivantes (les conditions Robbins-Monro ) concernant le taux d'apprentissage soient remplies ∑tαt(s,a)=∞∑tαt(s,a)=∞\sum_{t} \alpha_t(s, a) = \infty ∑tα2t(s,a)<∞∑tαt2(s,a)<∞\sum_{t} \alpha_t^2(s, a) < \infty où αt(s,a)αt(s,a)\alpha_t(s, a) signifie le taux d'apprentissage utilisé lors …