Modèles (jouets) emblématiques de réseaux de neurones

Mes professeurs de physique au lycée, ainsi que le noble lauréat Feynman, présentaient toujours ce qu'ils appelaient des modèles de jouets pour illustrer les concepts et méthodes de base en physique, tels que l'oscillateur harmonique, le pendule, la toupie et la boîte noire.

Quels modèles de jouets sont utilisés pour illustrer les concepts et méthodes de base qui sous-tendent l'application des réseaux de neurones? (Références s'il vous plaît.)

Par modèle de jouet, j'entends un réseau particulièrement simple et de taille minimale appliqué à un problème très contraint à travers lequel les méthodes de base peuvent être présentées et sa compréhension testée et améliorée par la mise en œuvre réelle, c'est-à-dire la construction du code de base et de préférence dans une certaine mesure le faire / vérifier les mathématiques de base à la main ou avec l'aide d'une application mathématique symbolique.

L'un des plus classiques est le Perceptron en 2 dimensions, qui remonte aux années 1950. C'est un bon exemple car c'est une rampe de lancement pour des techniques plus modernes:

1) Tout n'est pas séparable linéairement (d'où le besoin d'activations non linéaires ou de méthodes de noyau, plusieurs couches, etc.).

2) Le Perceptron ne convergera pas si les données ne sont pas séparables linéairement (mesures continues de séparation telles que softmax, décroissance du taux d'apprentissage, etc.).

3) Bien qu'il existe une infinité de solutions pour fractionner les données, il est clair que certaines sont plus recherchées que d'autres (séparation maximale des limites, SVM, etc.)

Pour les réseaux de neurones multicouches, vous aimerez peut-être les exemples de classification des jouets fournis avec cette visualisation .

Pour les réseaux neuronaux convolutionnels, le MNIST est l'étalon-or classique, avec une jolie visualisation ici et ici .

Pour les RNN, un problème vraiment simple qu'ils peuvent résoudre est l' addition binaire , qui nécessite la mémorisation de 4 modèles.

1. Le problème XOR est probablement le problème canonique des jouets ANN.

   Richard Bland Juin 1998 Université de Stirling, Département des sciences informatiques et mathématiques Rapport technique sur les sciences informatiques " Apprendre XOR: explorer l'espace d'un problème classique "

2. Le TensorFlow Playground est une interface interactive avec plusieurs réseaux de neurones jouets, y compris XOR et Jellyroll.

3. Le calcul de la plus grande valeur propre d'une matrice symétrique de taille fixe (2x2 ou 3x3) est celui que j'utilise dans les démos en classe.

   A. Cichocki et R. Unbehauen. « Réseaux de neurones pour calculer les valeurs propres et les vecteurs propres » Cybernétique biologique décembre 1992, volume 68, numéro 2, pp 155–164

Les problèmes comme MNIST sont définitivement canoniques mais ne sont pas facilement vérifiables à la main - sauf si vous avez un énorme temps libre. Le code n'est pas non plus particulièrement basique.

En ce qui concerne les tâches de PNL, la Penn Tree Bank est un ensemble de données de référence très standard, utilisé par exemple dans Wojciech Zaremba, Ilya Sutskever, Oriol Vinyals " Recurrent Neural Network Regularization " et probablement des centaines d'autres articles.

Je ne connais pas de jouet physique, mais le meilleur exemple que je connaisse est une IA multicouche générée par un algorithme génétique pour jouer à Super Mario Brothers. Le code source est dans la description de la vidéo.

MarI / O - Apprentissage automatique pour les jeux vidéo: https://www.youtube.com/watch?v=qv6UVOQ0F44