J'ai l'impression que lorsque les gens font référence à un réseau de «croyance profonde», il s'agit en réalité d'un réseau de neurones mais de très grande taille. Est-ce correct ou un réseau de conviction profonde implique-t-il également que l'algorithme lui-même est différent (c'est-à-dire, pas de réseau neuronal à feed forward, mais peut-être quelque chose avec des boucles de rétroaction)?
Réponses:
"Réseaux de neurones" est un terme habituellement utilisé pour désigner des réseaux de neurones à anticipation. Les réseaux de neurones profonds sont des réseaux de neurones à anticipation multiples comportant plusieurs couches.
Un réseau de croyance profonde n’est pas la même chose qu’un réseau de neurones profonds.
Comme vous l'avez souligné, un réseau de conviction profonde a des connexions non dirigées entre certaines couches. Cela signifie que la topologie du DNN et du DBN est différente par définition.
Les couches non dirigées dans le DBN sont appelées Machines Boltzmann restreintes. Ces couches peuvent être formées à l’aide d’un algorithme d’apprentissage non supervisé (divergence contrastée) très rapide (voici un lien ! Avec des détails).
Quelques autres commentaires:
Les solutions obtenues avec des réseaux de neurones plus profonds correspondent à des solutions moins performantes que les solutions obtenues pour des réseaux à 1 ou 2 couches cachées. Au fur et à mesure que l’architecture s’approfondit, il devient plus difficile d’obtenir une bonne généralisation à l’aide d’un NN profond.
En 2006, Hinton a découvert que des architectures plus profondes pouvaient obtenir de bien meilleurs résultats lorsque chaque couche (RBM) était pré-entraînée avec un algorithme d'apprentissage non supervisé (divergence divergente). Ensuite, le réseau peut être formé de manière supervisée en utilisant la rétropropagmentation afin de "peaufiner" les poids.
" Un réseau de neurones profonds est un réseau de neurones artificiels avec feed-forward, qui comporte plus d'une couche d'unités cachées entre ses entrées et ses sorties. Chaque unité cachée utilise généralement la fonction logistique pour mapper son entrée totale à partir de la couche inférieure. , , à l’état scalaire, qu’il envoie au calque supérieur. (Ref. (1)) ".
Cela dit, comme l'a mentionné David: " les réseaux de croyances profondes ont des connexions non dirigées entre les deux couches supérieures, comme dans un RBM ", ce qui contraste avec les réseaux de neurones à rétroaction standard. En général, le principal problème d'un DNN concerne sa formation, qui est certainement plus complexe qu'un NN à une seule couche. (Je ne travaille pas sur NN, c'est juste que j'ai lu le journal récemment.)
Référence: 1. Réseaux de neurones profonds pour la modélisation acoustique en reconnaissance vocale , par Geoffrey Hinton, Li Deng, Dong Yu, George Dahl, Abdel-Rahman Mohamed, Navdeep Jaitly, Andrew Senior, Vincent Vanhoucke, Patrick Nguyen, Tara Sainath et Brian Kingsbury dans le magazine IEEE Signal Processing [82] nov. 2012 ( Lien vers l'article original dans MSR )
Content de voir les commentaires d'Alex ici. J'ai expliqué aux gens que DL est un réseau de neurones typique. Il n'y a pas de différence dans le schéma d'apprentissage. Un ANN précédent écrit en c (70s) a une option pour configurer plusieurs couches cachées. En fait, j'ai testé pour déterminer si davantage de couches cachées amélioraient la précision. Le nombre de couches ne rend pas DL différent de ANN.
Je déteste ce genre de termes de marketting. Maintenant, nous avons tellement d'experts en DL qui ne savent pas que DL est en réalité ANN. Parce que le marquage est si bon et si fort, les gens pensent que nous avons beaucoup progressé dans le domaine de l'apprentissage automatique. Mais rien n'est nouveau!