Cependant, les deux approches me semblent identiques, c'est-à-dire que prédire la récompense maximale pour une action (Q-learning) équivaut à prédire la probabilité de prendre l'action directement (PG).
Les deux méthodes sont théoriquement guidées par la construction du processus de décision de Markov et, par conséquent, utilisent une notation et des concepts similaires. En outre, dans des environnements simples résolubles, vous devez vous attendre à ce que les deux méthodes aboutissent à des politiques optimales identiques - ou au moins équivalentes.
Cependant, ils sont en réalité différents en interne. Les différences les plus fondamentales entre les approches résident dans la manière dont elles abordent la sélection des actions, à la fois pendant l'apprentissage et en tant que résultat (la politique apprise). En Q-learning, le but est d'apprendre une seule action déterministe à partir d'un ensemble discret d'actions en trouvant la valeur maximale. Avec des gradients de politique et d'autres recherches directes de politique, l'objectif est d'apprendre une carte de l'état à l'action, qui peut être stochastique, et fonctionne dans des espaces d'action continus.
Par conséquent, les méthodes de gradient de politique peuvent résoudre des problèmes que les méthodes basées sur des valeurs ne peuvent pas:
Grand espace d'action continu. Cependant, avec des méthodes basées sur des valeurs, cela peut toujours être approximé avec la discrétisation - et ce n'est pas un mauvais choix, car la fonction de mappage dans le gradient de politique doit être une sorte d'approximateur dans la pratique.
Politiques stochastiques. Une méthode basée sur des valeurs ne peut pas résoudre un environnement où la politique optimale est stochastique nécessitant des probabilités spécifiques, telles que Ciseaux / Papier / Pierre. C'est parce qu'il n'y a pas de paramètres entraînables dans l'apprentissage Q qui contrôlent les probabilités d'action, la formulation du problème dans l'apprentissage TD suppose qu'un agent déterministe peut être optimal.
Cependant, les méthodes basées sur les valeurs comme le Q-learning présentent également certains avantages:
Simplicité. Vous pouvez implémenter des fonctions Q comme de simples tables discrètes, ce qui donne quelques garanties de convergence. Il n'y a pas de versions tabulaires du gradient de politique, car vous avez besoin d'une fonction de mappage qui doit également avoir un gradient lisse par rapport à .p ( a ∣ s , θ )θ
La vitesse. Les méthodes d'apprentissage TD qui démarrent sont souvent beaucoup plus rapides pour apprendre une politique que les méthodes qui doivent être purement échantillonnées dans l'environnement afin d'évaluer les progrès.
Il existe d'autres raisons pour lesquelles vous pourriez souhaiter utiliser l'une ou l'autre approche:
Vous souhaiterez peut-être connaître le retour prévu pendant l'exécution du processus, afin d'aider d'autres processus de planification associés à l'agent.
La représentation d'état du problème se prête plus facilement à une fonction de valeur ou à une fonction de politique. Une fonction de valeur peut s'avérer avoir une relation très simple avec l'État et la fonction de politique très complexe et difficile à apprendre, ou vice-versa .
Certains solveurs RL à la pointe de la technologie utilisent en fait les deux approches ensemble, comme Actor-Critic. Cela combine les forces de la valeur et les méthodes de gradient politique.