Les couches de réseaux de neurones profonds peuvent-elles être considérées comme des réseaux de Hopfield?

Les réseaux Hopfield sont capables de stocker un vecteur et de le récupérer à partir d'une version bruyante de celui-ci. Ils le font en définissant des poids afin de minimiser la fonction énergétique lorsque tous les neurones sont définis comme égaux aux valeurs vectorielles, et en récupérant le vecteur en utilisant la version bruyante de celui-ci en entrée et en permettant au filet de s'installer au minimum d'énergie.

Laissant de côté des problèmes tels que le fait qu'il n'y a aucune garantie que le filet s'installera dans le minimum le plus proche, etc. - problèmes finalement résolus avec les machines Boltzmann et éventuellement avec rétropropagation - la percée était qu'ils étaient un point de départ pour avoir des représentations abstraites. Deux versions d'un même document rappelleraient le même état, elles seraient représentées, dans le réseau, par le même état.

Comme Hopfield l'a écrit lui-même dans son article de 1982 Réseaux neuronaux et systèmes physiques avec des capacités de calcul collectives émergentes

La modélisation actuelle pourrait alors être liée à la façon dont une entité ou Gestalt est mémorisée ou classée sur la base d'entrées représentant une collection de ses caractéristiques.

De l'autre côté, la percée de l'apprentissage en profondeur a été la capacité de construire plusieurs représentations hiérarchiques de l'entrée, ce qui a finalement permis de faciliter la vie des praticiens de l'IA, simplifiant l'ingénierie des fonctionnalités. (voir par exemple l' apprentissage de la représentation: une revue et de nouvelles perspectives , Bengio, Courville, Vincent).

D'un point de vue conceptuel, je crois que l'on peut voir l'apprentissage profond comme une généralisation des réseaux de Hopfield: d'une représentation unique à une hiérarchie de représentation.

Est-ce également vrai d'un point de vue informatique / topologique? Si l'on ne considère pas à quel point les réseaux de Hopfield étaient "simples" (neurones à 2 états, non dirigés, fonction énergétique), on peut voir chaque couche d'un réseau comme un réseau de Hopfield et l'ensemble du processus comme une extraction séquentielle de la Gestalt précédemment mémorisée et une réorganisation de ces Gestalt?

Le Deep Learning n'est pas une généralisation des réseaux Hopfield. Le Deep Learning est une "généralisation" du domaine des réseaux neuronaux / connexionnisme lancée par Rumelhart et McClelland.

Il existe deux types de réseaux de neurones:

• Réalisé (Perceptron, MLP, ConvNets, RNN, etc.)
• Non orienté (filets Hopfield, machines Boltzmann, modèles à base d'énergie, etc.)

Chacun de ces éléments peut être approfondi. Comme vous l'avez dit, les machines Boltzmann sont la version probabiliste de Hopfield Networks, et il y a eu beaucoup plus de travail sur l'approfondissement de ces modèles que les réseaux Hopfield: machines Deep Boltzmann, Deep Belief Networks et modèles à énergie profonde. Hinton est vraiment le gars que vous voulez lire pour en savoir plus sur ces modèles, mais vous pouvez consulter ce document qui compare les trois modèles.

Pas sûr de l'organisation Gestalt. Je suppose que je vais laisser cela à votre interprétation.