Que pouvons-nous apprendre sur le cerveau humain des réseaux de neurones artificiels?

Je sais que ma question / titre n'est pas très précis, je vais donc essayer de le clarifier:

Les réseaux de neurones artificiels ont des conceptions relativement strictes. Bien sûr, généralement, ils sont influencés par la biologie et tentent de construire un modèle mathématique de réseaux neuronaux réels, mais notre compréhension des réseaux neuronaux réels est insuffisante pour construire des modèles exacts. Par conséquent, nous ne pouvons pas concevoir de modèles exacts ou tout ce qui se rapproche des réseaux neuronaux réels.

Pour autant que je sache, tous les réseaux de neurones artificiels sont loin des vrais réseaux de neurones. Les MLP classiques et entièrement connectés ne sont pas présents en biologie. Les réseaux de neurones récurrents ont un manque de neuroplasticité réelle, chaque neurone d'un RNN a la même "architecture de rétroaction" tandis que les vrais neurones enregistrent et partagent leurs informations plutôt individuellement. Les réseaux de neurones à convolution sont efficaces et populaires, mais (par exemple) le traitement d'image dans le cerveau humain ne comprend que quelques couches de convolution tandis que les solutions modernes (comme GoogLeNet) utilisent déjà des dizaines de couches ... et bien qu'elles produisent d'excellents résultats pour les ordinateurs , ils ne sont même pas proches de la performance humaine. Surtout quand nous pensons à une "performance par couche", car nous avons besoin d'une quantité assez élevée de couches et d'une réduction des données par rapport aux réseaux neuronaux réels.

De plus, à ma connaissance, même les réseaux neuronaux artificiels modulaires, auto-extensibles / auto-restructurants sont plutôt "fixes et statiques" par rapport à l'énorme adaptabilité des réseaux neuronaux réels. Le neurone biologique a normalement des milliers de dendrites reliant le neurone à une grande variété de zones différentes et à d'autres neurones. Les réseaux de neurones artificiels sont beaucoup plus "simples".

Alors, y a-t-il quelque chose que nous puissions apprendre sur le cerveau humain / les réseaux neuronaux réels à partir des réseaux de neurones artificiels? Ou s'agit-il simplement d'une tentative de créer un logiciel plus performant que les algorithmes statiques classiques (ou même de faire des choses où ces algorithmes échouent)?

Quelqu'un peut-il fournir des sources (de préférence scientifiques) sur ce sujet?

EDIT: Plus de réponses sont très appréciées (:

Comme vous l'avez mentionné, la plupart des réseaux de neurones sont basés sur des abstractions générales simples du cerveau. Non seulement ils manquent d'imiter des caractéristiques comme la plasticité, mais ils ne prennent pas en compte les signaux et le timing comme le font les vrais neurones.

Il y a une interview assez récente, que j'ai jugée appropriée pour votre question spécifique, Maestro Michael Jordan , Machine-Learning sur les délires du Big Data et d'autres efforts d'ingénierie énormes , et je cite:

Mais il est vrai qu'avec les neurosciences, il faudra des décennies, voire des centaines d'années pour comprendre les principes profonds. Il y a des progrès aux niveaux les plus bas des neurosciences. Mais pour les problèmes de cognition supérieure - comment nous percevons, comment nous nous souvenons, comment nous agissons - nous n'avons aucune idée de la façon dont les neurones stockent les informations, comment ils calculent, quelles sont les règles, quels sont les algorithmes, quelles sont les représentations, et similaires. Nous ne sommes donc pas encore à une époque où nous pouvons utiliser une compréhension du cerveau pour nous guider dans la construction de systèmes intelligents.

Pas beaucoup - sans doute rien - a jusqu'à présent été appris sur le fonctionnement du cerveau à partir de réseaux de neurones artificiels. [Clarification: j'ai écrit cette réponse en pensant aux réseaux de neurones utilisés dans l'apprentissage automatique; @MattKrause (+1) a raison de dire que les modèles de réseaux neuronaux de certains phénomènes neuronaux biologiques auraient pu être utiles dans de nombreux cas.] Cependant, cela est peut-être partiellement dû au fait que la recherche sur les réseaux de neurones artificiels dans l'apprentissage automatique était plus ou moins dans stagnation jusqu'en 2006 environ, lorsque Geoffrey Hinton a à peu près à lui seul ravivé l'ensemble du domaine qui attire désormais des milliards de dollars.

Dans une conférence de Google en 2012 intitulée Brains, Sex, and Machine Learning (à partir de 45h30), Hinton a suggéré que les réseaux de neurones artificiels peuvent fournir un indice sur la raison pour laquelle [la plupart] des neurones communiquent avec des pointes et non avec des signaux analogiques. À savoir, il suggère de voir les pics comme une stratégie de régularisation similaire au décrochage. Le décrochage est un moyen récemment développé pour empêcher le sur-ajustement, lorsque seul un sous-ensemble de poids est mis à jour à une étape de descente de gradient donnée (voir Srivastava et al. 2014 ). Apparemment, cela peut très bien fonctionner, et Hinton pense que peut-être des pointes (c'est-à-dire que la plupart des neurones sont silencieux à un moment donné) servent le même but.

Je travaille dans un institut de recherche en neurosciences et je ne connais personne ici qui soit convaincu par l'argument de Hinton. Le jury est toujours absent (et sera probablement absent pendant un certain temps), mais au moins c'est un exemple de quelque chose que les réseaux de neurones artificiels pourraient potentiellement nous apprendre sur le fonctionnement du cerveau.

Il n'est certainement pas vrai que le cerveau humain n'utilise que "quelques" couches convolutives. Environ 1/3 du cerveau des primates est impliqué d'une manière ou d'une autre dans le traitement des informations visuelles. Ce diagramme, de Felleman et Van Essen est un aperçu approximatif de la façon dont l'information visuelle circule dans le cerveau du singe, commençant dans les yeux (RGC en bas) et se terminant dans l'hippocampe, une zone de mémoire.

Chacune de ces cases est une zone définie anatomiquement (plus ou moins), qui contient plusieurs étapes de traitement (couches réelles, dans la plupart des cas). Le diagramme lui-même a 25 ans et nous avons appris qu'il y a encore quelques cases et beaucoup plus de lignes.

Il est vrai qu'une grande partie du travail d'apprentissage en profondeur est plus "vaguement inspiré par" le cerveau que basé sur une vérité neuronale sous-jacente. L '«apprentissage profond» a également l'avantage supplémentaire de paraître beaucoup plus sexy que la «régression logistique itérative».

Cependant, les modèles mathématiques des réseaux de neurones ont également beaucoup contribué à notre compréhension du cerveau. À un extrême, certains modèles tentent d'imiter avec précision la biologie et la biophysique connues. Celles-ci incluent généralement des termes pour les ions individuels et leur flux. Certains utilisent même des reconstructions 3D de vrais neurones pour contraindre leur forme. Si cela vous intéresse, ModelDB dispose d'une large collection de modèles et des publications associées. Beaucoup sont mis en œuvre à l'aide du logiciel NEURON disponible gratuitement .

Il existe des modèles à plus grande échelle qui tentent d'imiter certains effets comportementaux ou neurophysiologiques, sans trop se soucier de la biophysique sous-jacente. Les modèles connexionnistes ou de traitement distribué parallèle, qui étaient particulièrement populaires à la fin des années 1980 et 1990 et utilisaient des modèles similaires à ceux que vous pourriez trouver dans une application d'apprentissage automatique actuelle (par exemple, pas de biophysique, fonctions d'activation simples et connectivité stéréotypée) pour expliquer divers processus psychologiques. Ceux-ci sont un peu tombés en désuétude, même si on se demande s'ils pourraient faire un retour maintenant que nous avons des ordinateurs plus puissants et de meilleures stratégies d'entraînement. (Voir modification ci-dessous!)

Enfin, il y a beaucoup de travail quelque part au milieu qui comprend une certaine "phénoménologie", plus quelques détails biologiques (par exemple, un terme explicitement inhibiteur avec certaines propriétés, mais sans ajuster la distribution exacte des canaux chlorure). Beaucoup de travaux actuels entrent dans cette catégorie, par exemple le travail de Xiao Jing Wang (et bien d'autres ....)

EDIT : Depuis que j'ai écrit ceci, il y a eu une explosion de travail comparant le (réel) système visuel aux réseaux de neurones profonds formés aux tâches de reconnaissance d'objets. Il existe des similitudes surprenantes. Les noyaux dans les premières couches d'un réseau neuronal sont très similaires aux noyaux / champs récepteurs dans le cortex visuel primaire et les couches suivantes ressemblent aux champs récepteurs dans les zones visuelles supérieures (voir le travail de Nikolaus Kriegeskorte, par exemple ). Le recyclage des réseaux de neurones peut provoquer des changements similaires à une formation comportementale approfondie (Wenliang et Seitz, 2018) . Les DNN et les humains font parfois - mais pas toujours - des schémas d'erreurs similaires.

Pour le moment, il est encore assez difficile de savoir si cela reflète la similitude entre les réseaux neuronaux réels et artificiels en général, quelque chose sur les images en particulier [*], ou la tendance des réseaux neuronaux de toutes bandes à trouver des modèles, même lorsqu'ils ne sont pas là. Néanmoins, la comparaison des deux est devenue un domaine de recherche de plus en plus brûlant et il semble probable que nous en tirerons des enseignements.

* Par exemple, la représentation utilisée dans les premiers systèmes visuels / premières couches d'un CNN est une base clairsemée optimale pour les images naturelles.

Celui que nous avons vraiment appris est l'utilisation de l'activation clairsemée et l'utilisation de fonctions d'activation rectifiées linéaires. La dernière est essentiellement une des raisons pour lesquelles nous avons vu une explosion d'activité concernant ce que l'on appelle le réseau neuronal, car l'utilisation de ce type de fonctions d'activation a entraîné une diminution considérable des offres de formation pour les réseaux informatiques artificiels que nous utilisons pour appeler les réseaux neuronaux.

Ce que nous avons appris, c'est pourquoi la synapse et les neurones sont construits de cette façon et pourquoi c'est préférable. Ces activations rectifiées linéaires (f (x): = x> a? X: 0) entraînent une activation clairsemée (seuls quelques «neurones» (poids)) sont activés.

Donc ce que nous faisons alors que nos connaissances s'étendent vers les fonctions biologiques, nous comprenons pourquoi cela a été choisi et préféré par l'évolution. Nous comprenons que ces systèmes sont suffisants mais également stables en termes de contrôle des erreurs pendant la formation et préservent également des ressources comme l'énergie et les ressources chimiques / biologiques dans un cerveau.

Nous comprenons simplement pourquoi le cerveau est ce qu'il est. Aussi en formant et en examinant les stratégies que nous comprenons sur les flux d'informations possibles et le traitement de l'information impliqué nous aidant à construire et à évaluer des hypothèses sur les sujets mêmes.

Par exemple, quelque chose dont je me souviens, il y a une décennie, était la formation d'un système sur l'apprentissage du langage naturel et la découverte a été que le système montrait des problèmes similaires qui réassemblent le comportement analogique des bébés apprenant à parler une langue. Même les différences entre l'apprentissage de différents types de langues étaient suffisamment similaires.

Ainsi, en étudiant cette approche et cette conception, il a été conclu que le traitement de l'information humaine pendant l'apprentissage des langues est suffisamment similaire pour tirer des recommandations de formation et un traitement des problèmes liés à la langue, qu'il a aidé à aider et à comprendre les difficultés humaines et à développer un traitement plus efficace (quoi que ce soit en fait vraiment fait dans la pratique est une autre question).

Il y a un mois, j'ai lu un article sur le fonctionnement réel de la navigation 3D et de la mémorisation des cerveaux de rats et en créant des modèles de calcul pour chaque découverte, c'était une grande aide pour comprendre ce qui se passait vraiment. Le modèle artificiel a donc rempli les blancs de ce qui a été observé dans le système biologique.

Cela m'a vraiment étonné quand j'ai appris que les neurologues utilisaient un langage qui assemblait davantage celui d'un ingénieur qu'une personne biologique parlant de circuits, de flux d'informations et d'unités de traitement logique.

Nous apprenons donc beaucoup des réseaux de neurones artificiels car ils nous offrent des terrains de jeu empiriques dont nous pouvons tirer des règles et une assurance en ce qui concerne la raison pour laquelle l'architecture du cerveau est ce qu'elle est et aussi pourquoi l'évolution préfère cela à d'autres moyens.

Il y a encore beaucoup de blancs mais d'après ce que j'ai lu - je viens tout juste d'entrer dans CNN, etc., mais j'avais une IA artificielle, une logique floue et des réseaux de neurones pendant la période universitaire au début des années 2000.

J'avais donc rattrapé une décennie de développement et de découverte, ce qui a rendu hommage à tous ces scientifiques et praticiens du réseau neuronal et du domaine de l'IA. Bravo les gens, vraiment bien fait!