Une machine Boltzmann pourrait-elle stocker plus de motifs qu'un filet Hopfield?


17

Il s'agit d'une version bêta fermée pour l'IA, cette question étant publiée par l'utilisateur numéro 47. Tout le mérite leur revient.


Selon Wikipedia ,

Les machines Boltzmann peuvent être considérées comme la contrepartie stochastique et générative des filets de Hopfield.

Les deux sont des réseaux de neurones récurrents qui peuvent être entraînés à apprendre des modèles de bits. Ensuite, lorsqu'il est présenté avec un motif partiel, le filet récupère le motif complet complet.

Il a été prouvé que les réseaux Hopfield ont une capacité de 0,138 (par exemple, environ 138 vecteurs de bits peuvent être rappelés du stockage pour 1 000 nœuds, Hertz 1991).

Comme une machine Boltzmann est stochastique, je crois comprendre qu'elle ne montrerait pas nécessairement toujours le même modèle lorsque la différence d'énergie entre un modèle stocké et un autre est similaire. Mais en raison de cette stochasticité, cela permet peut-être un stockage plus dense des modèles, mais sans la garantie que vous obtiendrez toujours le modèle le plus "proche" en termes de différence d'énergie. Serait-ce vrai? Ou un filet Hopfield serait-il capable de stocker plus de modèles?

Réponses:


3

En effet, votre intuition est correcte, une machine Boltzmann est capable de contenir plus qu'un réseau Hopfield dans sa mémoire en raison de sa nature stochastique telle qu'explorée dans cet article. Dans le document, ils notent que la capacité est d'environ 0,6. Après ce rapport, il commence à se décomposer et ajoute beaucoup plus de bruit aux motifs rappelés.

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.