Je suis en train de lire l'article clé Séquence à séquence d'apprentissage avec les réseaux de neurones par Ilya Sutskever et Quoc Le. Sur la première page, il mentionne brièvement que:
A surprising example of the power of DNNs is their ability to sort
N N-bit numbers using only 2 hidden layers of quadratic size
Quelqu'un peut-il brièvement expliquer comment trier les nombres en utilisant seulement 2 couches cachées?
Réponses:
En faisant des recherches, j'ai trouvé un document qui prouve que le tri peut être effectué avec au plus 3 couches, et que leur solution est optimale si vous limitez la taille du réseau à polynôme par rapport au nombre de numéros d'entrée:
Réseaux neuronaux efficaces en profondeur pour la division et les problèmes connexes , voir Théorème 7 à la page 955 (page 10 dans le PDF).
J'imagine que l'on pourrait trouver des poids manuellement pour faire le travail exactement, mais peut-être que le but est de pouvoir en former un? Quelques exemples:
Comment trier les nombres à l'aide du réseau neuronal convolutif?