Quels sont les défauts du framework AI de Jeff Hawkins?


19

En 2004, Jeff Hawkins , inventeur du palm pilote, a publié un livre très intéressant intitulé On Intelligence , dans lequel il détaille une théorie sur le fonctionnement du néocortex humain.

Cette théorie est appelée cadre de prédiction de la mémoire et présente des caractéristiques frappantes, par exemple non seulement ascendantes (feedforward), mais également un traitement descendant des informations et la possibilité de faire des prédictions simultanées mais discrètes de différents scénarios futurs (comme décrit dans cet article ).

La promesse du cadre Memory-Prediction est la génération non supervisée de représentations stables de haut niveau des possibilités futures. Quelque chose qui révolutionnerait probablement tout un tas de domaines de recherche en IA.

Hawkins a fondé une entreprise et a mis en œuvre ses idées. Malheureusement, plus de dix ans plus tard, la promesse de ses idées n'a toujours pas été tenue. Jusqu'à présent, l'implémentation n'est utilisée que pour la détection d'anomalies, ce qui est un peu l'inverse de ce que vous voulez vraiment faire. Au lieu d'extraire la compréhension, vous extrairez les instances que votre cortex artificiel ne comprend pas.

Ma question est de savoir de quelle manière le cadre de Hawkins est insuffisant. Quels sont les problèmes concrets ou conceptuels qui empêchent jusqu'à présent sa théorie de fonctionner dans la pratique?

Réponses:


11

La réponse courte est que la vision de Hawkins n'a pas encore été mise en œuvre de manière largement accessible, en particulier les éléments indispensables liés à la prédiction.

La réponse longue est que j'ai lu le livre de Hawkins il y a quelques années et que j'étais excité par les possibilités de la mémoire temporelle hiérarchique (HTM). Je le suis toujours, malgré le fait que j'ai quelques réserves sur certaines de ses réflexions philosophiques sur les significations de la conscience, du libre arbitre et d'autres sujets de ce genre. Je ne développerai pas ces craintes ici parce qu'elles ne sont pas pertinentes pour la raison principale et écrasante pour laquelle les réseaux HTM n'ont pas réussi autant que prévu à ce jour: à ma connaissance, Numenta n'a mis en œuvre qu'une version tronquée de sa vision. Ils ont laissé de côté la plupart de l'architecture de prédiction, qui joue un rôle si critique dans les théories de Hawkins. Comme Gerod M. Bonhoff l'a mis dans une excellente thèse 1 sur les HTM,

La décision de conception la plus importante adoptée par Numenta a été d'éliminer la rétroaction dans la hiérarchie et de choisir de simuler ce concept théorique en utilisant uniquement des algorithmes de regroupement de données pour la pondération. Cette décision est immédiatement suspecte et viole les concepts clés de HTM. Le feedback, insiste Hawkins, est vital pour la fonction corticale et au centre de ses théories. Pourtant, Numenta affirme que la plupart des problèmes applicables à HTM peuvent être résolus en utilisant leur implémentation et leurs algorithmes de mise en commun propriétaires. "

J'apprends toujours les ficelles dans ce domaine et je ne peux pas dire si Numenta a depuis abandonné cette approche en faveur d'une mise en œuvre complète des idées de Hawkins, en particulier l'architecture de prédiction très importante. Même s'ils l'ont fait, cette décision de conception a probablement retardé l'adoption de plusieurs années. Ce n'est pas une critique en soi; Peut-être que les coûts de calcul du suivi des valeurs de prédiction et de leur mise à jour à la volée étaient trop lourds à supporter à l'époque, en plus des coûts ordinaires de traitement des réseaux de neurones, ne leur laissant d'autre chemin que d'essayer des demi-mesures comme leur pooling propriétaire mécanismes. Néanmoins, tous les meilleurs articles de recherche que j'ai lus sur le sujet depuis lors ont choisi de réimplémenter les algorithmes plutôt que de s'appuyer sur la plate-forme de Numenta, généralement en raison des fonctionnalités de prédiction manquantes.Rapport technique de Maltoni pour le laboratoire du système biométrique de l'Université de Bologne 2 . Dans tous ces cas, cependant, il n'y a pas de logiciel facilement accessible pour mettre leurs variantes HTM à une utilisation immédiate (pour autant que je sache). L'essentiel de tout cela est que, comme la célèbre maxime de GK Chesterton sur le christianisme, "les HTM n'ont pas été jugés et manqués; ils ont été trouvés difficiles et n'ont pas été essayés". Étant donné que Numenta a omis les étapes de prédiction, je suppose qu'elles seraient les principales pierres d'achoppement attendant quiconque souhaite coder la vision complète de Hawkins de ce que devrait être un HTM.

1 Bonhoff, Gerod M., 2008, Using Hierarchical Temporal Memory for Detecting Anomalous Network Activity. Présenté en mars 2008 à l'Air Force Institute of Technology, Wright-Patterson Air Force Base, Ohio.

2 Maltoni, Davide, 2011, Pattern Recognition by Hierarchical Temporal Memory. Rapport technique DEIS publié le 13 avril 2011. Laboratoire du système biométrique de l'Université de Bologne: Bologne, Italie.


1
Très bonne réponse! Je veux ajouter qu'apparemment IBM lui donne un coup maintenant: technologyreview.com/s/536326/…
BlindKungFuMaster

1

10 ans avant la production?

Mettons cela en perspective. Le perceptron a été introduit en 1957. Il n'a même pas vraiment commencé à fleurir comme modèle utilisable jusqu'à la sortie des livres PDP en 1986. Pour ceux qui conservent le score: 29 ans.

D'après les livres PDP, nous n'avons pas vu cela élaboré comme des réseaux profonds utilisables jusqu'à la dernière décennie. Si vous considérez la tâche de reconnaissance des chats Andrew Ng et Jeff Dean comme un événement déterminant du réseau, c'est 2012. On peut dire que plus de 25 ans sont prêts pour la production.

https://en.wikipedia.org/wiki/Timeline_of_machine_learning


Ce n'est pas une réponse à la question. De plus, nous disposons déjà d'ordinateurs suffisamment rapides pour réaliser des réalisations d'IA très impressionnantes. Mais ces réalisations ne se produisent pas dans HTM.
BlindKungFuMaster
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.