Statistiques pour l'apprentissage automatique, papiers pour commencer?

J'ai une formation en programmation informatique et en théorie des nombres élémentaires, mais aucune formation en statistique réelle, et j'ai récemment "découvert" que le monde étonnant de toute une gamme de techniques est en fait un monde statistique. Il semble que les factorisations matricielles, l'achèvement de la matrice, les tenseurs de haute dimension, les plongements, l'estimation de densité, l'inférence bayésienne, les partitions de Markov, le calcul de vecteur propre, le PageRank sont tous des techniques hautement statistiques, et que les algorithmes d'apprentissage automatique qui utilisent de telles choses, utilisent beaucoup de statistiques .

Mon objectif est de pouvoir lire des articles qui discutent de telles choses, et d'implémenter ou de créer les algorithmes, tout en comprenant la notation, les "preuves" et les arguments statistiques utilisés. Je suppose que le plus difficile est de suivre toutes les preuves qui impliquent des matrices.

Quels documents de base peuvent me permettre de commencer? Ou un bon manuel avec des exercices qui valent la peine d'être travaillés?

Plus précisément, certains articles que j'aimerais comprendre complètement sont les suivants:

1. Achèvement de la matrice exacte via l'optimisation convexe, Candes, Recht, 2008
2. La transformation de Cauchy rapide et la régression linéaire robuste plus rapide, Clarkson et al, 2013
3. Projections aléatoires pour les machines à vecteurs de support, Paul et al, 2013
4. Estimation de probabilité à haute dimension avec des modèles de densité profonde, Rippel, Adams, 2013
5. Obtention d'estimations minimisant les erreurs et limites d'erreur universelles d'entrée de gamme pour l'achèvement de la matrice de bas rang, Király, Theran, 2013

Je recommanderais le cours Andrew Ngs Machine Learning sur Coursera, il fait une couverture brillante sur toutes les bases. Si vous étudiez quelque chose à voir avec les modèles graphiques probabilistes, le cours Daphne Kollers serait également intéressant.

C'est aussi un trésor pour les ressources d'autoformation http://ragle.sanukcode.net/articles/machine-learning-self-study-resources/ Les conférences de Herb Grossman sont impressionnantes.

On m'a également recommandé ce livre https://www.openintro.org/stat/textbook.php car je suis toujours en train de m'apprendre et les statistiques ne sont pas mes antécédents!

Mes deux centimes concernent le côté mathématique des choses et des articles, mais ne vous laissez pas trop entraîner par les mathématiques de base. Apprenez les bases et référencez les articles sur lesquels ces articles que vous avez mentionnés sont construits et voyez s'ils sont plus faciles (vous devrez peut-être revenir en arrière quelques articles pour obtenir quelque chose que vous pouvez comprendre - c'est ce que je fais moi-même), il y a beaucoup de différents éléments de mathématiques en ML et il est facile de se faire sucer dans un terrier de lapin (encore une fois, je l'ai fait moi-même plus d'une fois!).

Bonne chance, c'est un domaine vraiment intéressant!