À quel moment commençons-nous à classer les réseaux de neurones multicouches en tant que réseaux de neurones profonds ou à le dire autrement «Quel est le nombre minimum de couches dans un réseau neuronal profond?
Réponses:
"Deep" est un terme marketing: vous pouvez donc l'utiliser chaque fois que vous avez besoin de commercialiser votre réseau neuronal multicouche.
«Profond»
L'un des premiers réseaux de neurones profonds possède trois couches cachées densément connectées ( Hinton et al. (2006) ).
«Très profond»
En 2014, les réseaux «très profonds» VGG Simonyan et al. (2014) se composent de 16+ couches cachées.
"Extrêmement Profond"
En 2016, les réseaux résiduels "extrêmement profonds" He et al. (2016) se composent de 50 à plus de 1000 couches cachées.
Selon la littérature,
Schmidhuber, J. (2015). "L'apprentissage profond dans les réseaux neuronaux: un aperçu". Les réseaux de neurones. 61: 85-117. arXiv: 1404.7828 gratuit à lire. doi: 10.1016 / j.neunet.2014.09.003.
https://en.wikipedia.org/wiki/Deep_learning
Il est dit que
Il n'y a pas de seuil universellement convenu pour diviser la profondeur de l'apprentissage superficiel de l'apprentissage profond, mais la plupart des chercheurs dans le domaine conviennent que l'apprentissage profond a plusieurs couches non linéaires (CAP> 2) et Schmidhuber considère que CAP> 10 est un apprentissage très profond.
Une chaîne de transformations de l'entrée à la sortie est un chemin d'attribution de crédit ou CAP. Pour un réseau neuronal à action directe, la profondeur des CAP, et donc la profondeur du réseau, est le nombre de couches cachées plus une.