Introduction à l'apprentissage automatique pour les mathématiciens

Dans un certain sens, c'est une croix de ma part de math.stackexchange , et j'ai le sentiment que ce site pourrait fournir un large public.

Je recherche une introduction mathématique au machine learning. En particulier, beaucoup de littérature qui peut être trouvée est relativement imprécise et beaucoup de pages sont dépensées sans aucun contenu.

Cependant, à partir d'une telle littérature, j'ai découvert les cours Coursera d'Andrew Ng, le livre de l'évêque sur la reconnaissance des formes et enfin un livre de Smola. Malheureusement, le livre de Smola n'est qu'à l'état de projet. Dans le livre de Smola, même des preuves peuvent être trouvées, ce qui me plaît. Le livre de Bishop est déjà assez bon, mais il manque une certaine rigueur.

En bref: je recherche un livre comme celui de Smola, c'est-à-dire aussi précis et rigoureux que possible et utilise des connaissances mathématiques (bien que de courtes introductions soient bien sûr OK).

Des recommandations?

Pour ce que vous décrivez, je recommande fortement les «fondements de l'apprentissage automatique» de Mohri et.al. C'est un texte de premier cycle, mais c'est pour de très bons étudiants de premier cycle. Il est lisible et c'est le seul endroit où j'ai trouvé ce que j'appellerais une définition mathématique de l'apprentissage automatique (pac et pac faible). Cela vaut la peine d'être lu pour cette seule raison. J'ai aussi un doctorat en mathématiques. Je connais et comme beaucoup de livres mentionnés ci-dessus. J'aime particulièrement l'ESL pour un large éventail de techniques et d'idées, mais c'est un livre de statistiques avec beaucoup de mathématiques.

Je recommanderais Elements of Statistical Learning (fichier PDF gratuit). Il a suffisamment de mathématiques et une bonne introduction à toutes les techniques pertinentes - ainsi que quelques informations sur le pourquoi des techniques fonctionnent (et quand elles ne fonctionnent pas).

Aussi Introduction à l'apprentissage statistique (qui est plus pratique - comment le faire en R ). Il a un cours sur l'apprentissage statistique ; vous pourriez trouver les conférences sur YouTube (et encore une fois en PDF gratuit).

Vous aimerez probablement Learning With Kernels de Schölkopf et Smola. La plupart des travaux de Schölkopf sont mathématiquement rigoureux.

Cela dit, vous feriez probablement mieux de lire des articles de recherche plutôt que des manuels. Les documents de recherche contiennent des dérivations complètes et des preuves de convergence, des limites sur les performances, etc. qui ne sont souvent pas incluses dans les manuels. Un bon point de départ est le Journal of Machine Learning , qui est très apprécié et entièrement ouvert. Je recommande également les actes de conférences comme ICML , NIPS , COLT et IJCNN .

Je suggérerais de comprendre l'apprentissage automatique: de la théorie aux algorithmes par Shai Shalev-Shwartz. J'avoue que je n'en ai lu que de petites portions mais j'ai immédiatement remarqué la rigueur avec laquelle l'auteur abordait chaque problème et discussion.