Efficacité énergétique du cerveau humain par rapport aux réseaux de neurones

Combien de grands réseaux de neurones artificiels pouvons-nous exécuter maintenant (soit avec un cycle complet de train arrière ou simplement en évaluant les sorties du réseau) si notre budget énergétique total pour le calcul est équivalent au budget énergétique du cerveau humain ( 12,6 watts )?

Supposons un cycle par seconde, ce qui semble correspondre à peu près au taux de tir des neurones biologiques .

neural-networks human-like

— liori
source

J'allais poser cette question. Je suis heureux que quelqu'un d'autre l'ait déjà fait :)

— Eka

126 millions de neurones artificiels à 12,6 watts, avec True North d'IBM

En 2014, la puce True North d'IBM poussait 1 million de neurones à moins de 100 mW.

Cela représente donc environ 126 millions de neurones artificiels à 12,6 watts.

Une souris possède 70 millions de neurones.

IBM croit qu'ils peuvent construire un ordinateur central True North à l'échelle humaine-cerveau à une «simple» 4 kW.

Une fois que les transistors 3D arriveront sur le marché, je pense que nous rattraperons assez rapidement l'efficacité du cerveau animal.

— Doxosophoi
source

> C'est donc environ 126 millions de neurones artificiels à 12,6 watts. > Une souris possède 70 millions de neurones. Le problème est que nous ne savons pas si un seul "neurone" artificiel est vraiment un équivalent un à un pour un vrai neurone biologique.

— mindcrime

En plus de la criminalité mentale, gardez à l'esprit que pendant environ 60 ans, les neuroscientifiques / chercheurs en IA ont constamment sous-estimé la puissance de traitement du cerveau humain. J'ai vu les premières estimations de grands noms que nos esprits ne pouvaient stocker que quelques 100 Mo! Nous n'avons pas encore pris en compte des facteurs tels que la profondeur de bits, l'architecture appropriée, les états quantiques possibles dans les cellules du cerveau, etc. . Les chercheurs en IA ont toujours toujours surestimé leurs propres capacités.

— SQLServerSteve

En effet, oublié les puces IBM. Je ne les ai même pas pris en considération lors de la rédaction de la question, car il existe des critiques connues sur leur efficacité (voir par exemple facebook.com/yann.lecun/posts/10152184295832143 ). Bien que techniquement, ils implémentent toujours des réseaux de neurones, alors +1 de ma part.

— liori

@mindcrime & SQLServerSteve Eh bien, la question aurait pu être spécifiquement sur les ANN en aval de vanilla fonctionnant sur du matériel de stock. Ce n'est pas l'impression que j'ai eue de la question.

— Doxosophoi

Il ne semblait pas non plus s'agir de réseaux de neurones artificiels qui n'avaient pas encore été imaginés.

— Doxosophoi

Si vous vous limitez à 12,6 watts, vous ne feriez pas grand-chose. Recherchez simplement la consommation d'énergie d'un GPU moderne, examinez la taille des réseaux sur lesquels les gens s'entraînent, puis réduisez. Pour référence, les GPU modernes semblent consommer entre 52-309 watts sous une utilisation intensive .

Il est clair que l'efficacité énergétique est un domaine où le cerveau humain est encore loin de la tête des ANN.

— crime mental
source