Je recherche un manuel / des notes de cours en apprentissage par renforcement. J'aime bien l ' "Introduction à l'apprentissage statistique" , mais malheureusement ils ne couvrent pas ce sujet. Je sais qu'un livre de Sutton et Barto est une référence standard, et peut-être que le NDP est également bon, mais ils sont datés de 1997-1998, et j'espérais trouver une exposition plus moderne car ce domaine est susceptible d'avoir un certain développement ces derniers temps. temps.
Réponses:
Je pense que Sutton et Barto sont toujours la norme. Il y a beaucoup de jeux de diapositives et de notes de cours d'IA en ligne, mais ils n'entrent généralement pas dans trop de détails.
Sutton et Barto sont un peu vieux, mais ils préparent une 2e édition de leur manuel. Un projet, daté de janvier 2018, est disponible ici ; il est lié à la page Web de Sutton , qui contient également le texte intégral de la première édition.
J'examinerais cela avant d'aborder la prise de décision sous incertitude de Kochenderfer et al . Ce livre a des applications intéressantes (principalement dans l'aviation) mais il se déplace rapidement et rebondit beaucoup. Les algorithmes de Szepesvári pour l'apprentissage par renforcement sont également bons, mais concis - il faut environ vingt pages pour arriver à , contre sept chapitres et 150 pages dans les nouveaux Sutton et Barto.
En dehors de cela, vous pourriez essayer de plonger dans certains articles - les trucs d'apprentissage par renforcement ont tendance à être assez accessibles.
Vous voudrez peut-être consulter Algorithms for Reinforcement Learning de Csaba Szepesvári, publié en 2010. PDF téléchargeable sur le site Web. À mon avis, c'est un peu plus technique que Sutton et Barto mais couvre moins de matière.
Voici quelques bons manuels / références:
Classique
Sutton RS, Barto AG. Apprentissage par renforcement: une introduction. Cambridge, Mass: A Bradford Book; 1998. 322 p.
Le brouillon de la deuxième édition est disponible gratuitement: https://webdocs.cs.ualberta.ca/~sutton/book/the-book.html
Chapitre 21 de Russell / Norvig:
Russell SJ, Norvig P, Davis E. Intelligence artificielle: une approche moderne. Upper Saddle River, NJ: Prentice Hall; 2010.
Plus technique
Szepesvári C. Algorithmes pour l'apprentissage par renforcement. Conférences de synthèse sur l'intelligence artificielle et l'apprentissage automatique. 2010; 4 (1): 1–103. http://www.ualberta.ca/~szepesva/RLBook.html
Bertsekas DP. Programmation dynamique et contrôle optimal. 4ème édition. Belmont, Mass.: Athena Scientific; 2007. 1270 p. Le chapitre 6, vol 2 est disponible gratuitement: http://web.mit.edu/dimitrib/www/dpchapter.pdf
Pour des développements plus récents
Wiering M, van Otterlo M, éditeurs. Apprentissage par renforcement. Berlin, Heidelberg: Springer Berlin Heidelberg; 2012 Disponible sur: http://link.springer.com/10.1007/978-3-642-27645-3
Kochenderfer MJ, Amato C, Chowdhary G, How JP, Reynolds HJD, Thornton JR, et al. Prise de décision en cas d'incertitude: théorie et application. 1 édition. Cambridge, Massachusetts: The MIT Press; 2015. 352 p.
Apprentissage par renforcement multi-agents
Buşoniu L, Babuška R, BD Schutter. Apprentissage par renforcement multi-agents: un aperçu. Dans: Srinivasan D, Jain LC, éditeurs. Innovations dans les systèmes et applications multi-agents - 1. Springer Berlin Heidelberg; 2010 p. 183-221. Disponible sur: http://link.springer.com/chapter/10.1007/978-3-642-14435-6_7
Schwartz HM. Apprentissage automatique multi-agents: une approche de renforcement. Hoboken, New Jersey: Wiley; 2014.
Vidéos / Cours
Je suggérerais également un cours de David Silver sur YouTube: https://www.youtube.com/playlist?list=PL5X3mDkKaJrL42i_jhE4N-p6E2Ol62Ofa
Mes notes de cours préférées sur l'apprentissage par renforcement sont celles d'Andrew Ng dans le cours de Stanford sur ML CS229:
Notes d'apprentissage sur la reconversion Stanford CS229
Vous pouvez également télécharger les vidéos de la conférence sur iTunes. Ou sur youtube, ils commencent par le lien suivant: