Pourquoi les réseaux de neurones profonds et l'apprentissage profond sont-ils insuffisants pour atteindre l'intelligence générale?

Tout ce qui concerne le Deep Learning (DL) et les réseaux profonds (er) semble "réussi", progressant au moins très rapidement et cultivant la croyance selon laquelle AGI est à portée de main. C'est de l'imagination populaire. DL est un formidable outil pour faire face à tant de problèmes, y compris la création d'AGI. Mais cela ne suffit pas. Un outil est un ingrédient nécessaire, mais souvent insuffisant.

Des figures de proue du domaine cherchent ailleurs à progresser. Ce rapport / revendication rassemble des liens vers des déclarations de Yoshua Bengio , Yann LeCun et Geoff Hinton . Le rapport explique également:

Les principales faiblesses de DL (telles que je les vois) sont: la dépendance aux neurones modèles les plus simples possibles («caricaturaux» comme LeCun les appelle); utilisation des idées de la mécanique statistique et des statistiques du XIXe siècle, qui sont à la base des fonctions énergétiques et des méthodes de log-vraisemblance; et la combinaison de ceux-ci dans des techniques telles que le backprop et la descente de gradient stochastique, conduisant à un régime d'application très limité (hors ligne, principalement par lots, apprentissage supervisé), nécessitant des praticiens très talentueux (alias "Stochastic Graduate Descent"), de grandes quantités de cher données de formation étiquetées et puissance de calcul. Bien qu'il soit idéal pour les grandes entreprises qui peuvent attirer ou acheter le talent et déployer des ressources illimitées pour collecter des données et les analyser, DL n'est tout simplement ni accessible ni utile pour la majorité d'entre nous.

Bien qu'intéressant et pertinent, ce type d'explication ne répond pas vraiment à l'essentiel du problème: qu'est-ce qui manque?

La question semble large, mais peut-être par manque de réponse simple. Existe-t-il un moyen d'identifier exactement ce qui manque à DL pour une AGI?

Tous ceux qui traitent de réseaux de neurones passent à côté d'un point important lors de la comparaison de systèmes avec une intelligence humaine. Un être humain met plusieurs mois à faire quelque chose d'intelligible, sans parler de pouvoir résoudre des problèmes que les humains adultes peuvent à peine gérer. Cela et la taille du cerveau humain est énorme par rapport à nos réseaux de neurones. La direction peut être correcte, mais l'échelle est très éloignée. Le nombre de neurones dans le cerveau humain peut être adapté en mémoire, mais le degré de parallélisme pour le simuler en temps réel ne peut pas encore être atteint (au moins pour un chercheur aléatoire). Bien qu'un peu vieux, cela pourrait vous donner une idée de combien nous manquons de puissance de traitement.

L'apprentissage en profondeur réussit surtout dans l'apprentissage supervisé, tandis que le cerveau construit des catégories principalement de manière non supervisée. Nous ne savons pas encore comment procéder. (Jetez un oeil à google brain : 16 000 cœurs et tout ce que vous pouvez faire est de reconnaître les chats et les visages humains avec une précision assez abyssale.)

Le Deep Learning utilise des activations hautement non structurées, c'est-à-dire que les représentations de haut niveau de "chien" et "chat" dans un classificateur de réseau neuronal ne doivent pas du tout être similaires. Le cerveau, d'autre part, utilise des neurones inhibiteurs pour créer des représentations réparties clairsemées qui sont décomposables dans leurs aspects sémantiques. C'est probablement important pour l'abstraction et le raisonnement par analogie.

Le cerveau a de nombreuses parties différentes qui fonctionnent ensemble. Les chercheurs du Deep Learning commencent tout juste à intégrer des mécanismes de mémoire ou d'attention dans leur architecture.

Le cerveau intègre des informations provenant de nombreux sens différents. La plupart des applications Deep Learning utilisent un seul type d'entrée, comme du texte ou des images.

Le cerveau est capable de modéliser des séquences en catégories. (Fondamentalement, chaque verbe nomme une catégorie séquentielle (c'est-à-dire temporelle).) Il peut ensuite organiser ces catégories en plans hiérarchiques à long terme. Jusqu'à présent, je n'ai rien vu dans ce sens dans le Deep Learning.

De plus, les réseaux de neurones ne peuvent pas encore fonctionner à la même échelle que le cerveau humain. Si vous regardez les réponses à cette question , le cerveau humain sera en avance dans le nombre de neurones pendant encore deux décennies. Un réseau de neurones peut ne pas avoir besoin du même nombre de neurones que le cerveau pour atteindre des performances similaires (en raison d'une plus grande précision), mais en ce moment, par exemple, le traitement vidéo est encore assez limité en termes d'entrée et de débit.

À mon humble avis, le premier obstacle est l' échelle : même le plus grand DNN de Google ne se rapproche pas de l'échelle du cerveau, et par un facteur de plusieurs ordres de grandeur ...

Je pense qu'il manque encore les aspects qui font un cerveau humain; ayant un grand nombre de réseaux différents travaillant ensemble.

Tout comme la méditation améliore les capacités cognitives en faisant fonctionner le cerveau de manière plus synergique, nous pourrions également appliquer cela aux machines.

Par exemple, Google apprend à rêver à un ordinateur, tout comme nous, pour renforcer ce que nous avons déjà appris. https://medium.com/@tannistho/why-is-google-teaching-its-ai-to-dream-e9ae9ecd0e3a#.gljal6pww

Et voici pathnet, un réseau de réseau neuronal. https://medium.com/@thoszymkowiak/deepmind-just-published-a-mind-blowing-paper-pathnet-f72b1ed38d46#.ed0f6pdq7

Créer toutes ces mécaniques et les mettre ensemble, avec assez de puissance et nous serons assez proches!

Les partisans de l'intelligence artificielle se concentrent aujourd'hui sur le problème de la calculabilité - la capacité de résoudre rapidement des problèmes complexes. Je suis convaincu que tout succès dans cette direction ne mènera pas à l'intelligence humaine (générale), même si elle surpassera certainement les humains dans certains domaines. Au lieu de cela, les efforts devraient être vers une étude de ce que les événements neurologiques provoquent des sensations (l'expérience des qualia). Bien sûr, c'est le problème difficile de la philosophie, mais je crois que c'est la clé unique de l'intelligence générale et de ses capacités. La rétro-ingénierie et les théories testables devraient également être avancées à cette fin.