Combien d'exemples de formation est trop peu lors de la formation d'un réseau neuronal?

Je suis un débutant essayant de monter mon premier projet. J'avais un projet de classification des chansons à l'esprit, mais comme je l'étiqueterais manuellement, je ne pouvais raisonnablement rassembler qu'environ 1000 chansons, soit 60 heures de musique.

Je classerais avec plusieurs classes, il est donc possible qu'une classe ait aussi peu que 50-100 chansons dans le set de formation - cela semble trop peu! Existe-t-il une règle générale pour déterminer la quantité de données nécessaires pour former un réseau neuronal afin de lui permettre de fonctionner?

Edit: je pensais utiliser un LSTM vanille. Les entités en entrée auront la dimension 39, la dimension en sortie 6, ma première tentative de dimension de calque masqué serait 100.

neural-networks

— arrey
source

Ce n'est pas vraiment responsable car toutes les tâches ne sont pas faciles, et différentes architectures de réseau et sélections d'hyperparamètres amélioreront / nuiront différents modèles de différentes manières.

— Sycorax dit Réintégrer Monica

Au minimum, vous devez spécifier la structure de votre réseau et le nombre de liens à former.

— gung - Rétablir Monica

Cela dépend vraiment de votre ensemble de données et de l'architecture réseau. Une règle de base que j'ai lue (2) était de quelques milliers d'échantillons par classe pour que le réseau neuronal commence à très bien fonctionner.

Dans la pratique, les gens essaient de voir. Il n'est pas rare de trouver des études montrant des résultats décents avec un ensemble d'entraînement inférieur à 1000 échantillons.

Un bon moyen d'évaluer approximativement dans quelle mesure il pourrait être avantageux d'avoir plus d'échantillons d'apprentissage est de tracer les performances du réseau neuronal en fonction de la taille de l'ensemble d'apprentissage, par exemple à partir de (1):

(1) Dernoncourt, Franck, Ji Young Lee, Ozlem Uzuner et Peter Szolovits. « Désidentification des notes des patients avec les réseaux de neurones récurrents » arXiv preprint arXiv: 1606.03475 (2016).
(2) Cireşan, Dan C., Ueli Meier et Jürgen Schmidhuber. "Transfert d'apprentissage pour les caractères latins et chinois avec des réseaux de neurones profonds." Dans The 2012 Joint Joint Conference on Neural Networks (IJCNN), pp. 1-6. IEEE, 2012. https://scholar.google.com/scholar?cluster=7452424507909578812&hl=en&as_sdt=0,22 ; http://people.idsia.ch/~ciresan/data/ijcnn2012_v9.pdf :

Pour les tâches de classification avec quelques milliers d'échantillons par classe , l'avantage du pré-entraînement (non supervisé ou supervisé) n'est pas facile à démontrer.

— Franck Dernoncourt
source