Contexte mathématique des réseaux de neurones

Je ne sais pas si cela convient à ce site, mais je commence mon MSE en informatique (BS en mathématiques appliquées) et je veux obtenir une solide formation en apprentissage automatique (je vais très probablement poursuivre un doctorat). Un de mes sous-intérêts est les réseaux de neurones.

Quel est un bon fond mathématique pour les RNA? Comme dans d'autres domaines de l'apprentissage automatique, je suppose que l'algèbre linéaire est importante, mais quels autres domaines des mathématiques sont importants?

J'ai l'intention de lire Neural Networks: A Systematic Introduction or Neural Networks for Pattern Recognition . Quelqu'un at-il des commentaires ou des recommandations alternatives?

La deuxième référence que vous donnez est, à mon avis, toujours le meilleur livre sur NN, même si elle peut être un peu dépassée et ne traite pas des développements plus récents comme les architectures profondes. Vous obtiendrez les bases et vous vous familiariserez avec tous les concepts de base autour de l'apprentissage automatique.

Si vous parcourez le livre, vous aurez besoin d'algèbre linéaire, de calcul multivarié et de notions de base de statistiques (probabilités conditionnelles, théorème de bayes et familiarité avec les distributions binomiales). À certains moments, il traite du calcul des variations. L'annexe sur le calcul des variations devrait cependant suffire.

La composante mathématique inclurait probablement l'algèbre avancée, le trig, l'algèbre linéaire et le calcul au minimum.

Mais pensez aussi hors des sentiers battus. De bonnes compétences en programmation sont également nécessaires, y compris des bases solides en algorithmes (Coursera a deux cours sur les algorithmes) et une maîtrise de MatLab, Octave ou R (et avec un langage de programmation flexible comme Java, C / C ++ ou Python). Je les mentionne en réponse à votre question car ce sont plus des compétences en "mathématiques appliquées" à mon avis - et sont fondamentales pour la traduction entre la théorie et les implémentations appliquées.

J'ai pris un certain nombre de cours Coursera liés à l'apprentissage automatique (et je suis d'accord avec une autre affiche que l'apprentissage automatique du professeur Ng est fantastique) et NN. Il y a quelques mois, Coursera a organisé un cours sur les réseaux neuronaux (je ne sais pas s'il est toujours disponible) par le biais de l'Université de Toronto et de Geoffrey Hinton. Un grand cours et exigé: connaissance du calcul, maîtrise d'Octave (un clone open source de type MatLab), bonne conception algorithmique (pour l'évolutivité) et algèbre linéaire.

Vous pouvez également (même si ce n'est pas des mathématiques en soi), penser à des sujets tels que le traitement du langage naturel (pour l'extraction de fonctionnalités, etc.), la récupération d'informations, la théorie des statistiques / probabilités ainsi que d'autres domaines de l'apprentissage automatique (pour obtenir plus de théorie). Des textes récents tels que Foundations of Machine Learning (Mohri) ou Introduction to Machine Learning (Alpaydin) pourraient vous être utiles pour combler la complexité de la théorie à la mise en œuvre (juste à mon avis, cela peut être un saut difficile) - et les deux les textes sont très mathématiques, en particulier les fondations.

Encore une fois, je pense que tous concernent les mathématiques et NN, mais dans un sens plus large.

Voir: http://www.quora.com/Career-Advice/How-do-I-become-a-data-scientist Deuxième réponse. Feuille de route assez complète.

Introduction progressive à l'apprentissage automatique: suivez cet excellent cours d'apprentissage automatique 101 par Andrew Ng de Standford. Ai-je vraiment l'impression que c'est génial?

https://www.coursera.org/course/ml

Un très bon livre (pas vraiment introductif, mais ne suppose pas de connaissances préalables dans les réseaux de neurones) est Brian Ripley: "Pattern Recognition and Neural Networks", qui je dirais contient une grande partie de ses préliminaires. Avec un BS en mathématiques appliquées, vous devez être prêt.

Le sujet principal est les statistiques

Calcul à variables multiples

algèbre linéaire numérique (matrices clairsemées, etc.) optimisation numérique (descente de gradient, etc., programmation quadratique)

vous voudrez peut-être lire sur les processus gaussiens et les mathématiques nécessaires, essayez de faire des cours de traitement d'image / traitement du langage naturel