Quelle est la notion de singularité technologique?


32

J'ai entendu l'idée de la singularité technologique, qu'est-ce que c'est et comment est-elle liée à l'intelligence artificielle? Est-ce le point théorique où les machines d'intelligence artificielle ont progressé au point où elles grandissent et apprennent par elles-mêmes au-delà de ce que les humains peuvent faire et leur croissance décolle? Comment saurions-nous quand nous atteindrons ce point?

Réponses:


20

La singularité technologique est un moment théorique dans lequel une intelligence générale artificielle auto-améliorante devient capable de comprendre et de manipuler des concepts en dehors de la portée du cerveau humain, c'est-à-dire le moment où elle peut comprendre des choses que les humains, par conception biologique, peuvent '' t.

Le flou de la singularité vient du fait que, à partir de la singularité, l'histoire est effectivement imprévisible. L'humanité serait incapable de prédire des événements futurs ou d'expliquer des événements actuels, car la science elle-même devient incapable de décrire des événements déclenchés par une machine. Essentiellement, les machines penseraient à nous de la même manière que nous pensons aux fourmis. Ainsi, nous ne pouvons faire aucune prédiction au-delà de la singularité. De plus, comme conséquence logique, nous ne serions pas en mesure de définir le point auquel la singularité peut se produire, ni même la reconnaître lorsqu'elle se produit.

Cependant, pour que la singularité se concrétise, l'AGI doit être développée, et si cela est possible est un débat assez chaudmaintenant. De plus, un algorithme qui crée une intelligence surhumaine à partir de bits et d'octets devrait être conçu. Par définition, un programmeur humain ne pourrait pas faire une telle chose, car son cerveau devrait être capable de comprendre des concepts au-delà de sa portée. Il y a aussi l'argument qu'une explosion de l'intelligence (le mécanisme par lequel une singularité technologique serait théoriquement formée) serait impossible en raison de la difficulté du défi de conception de se rendre plus intelligente, de devenir plus grande proportionnellement à son intelligence, et que la difficulté de la conception elle-même peut dépasser l'intelligence requise pour résoudre ledit défi (dernier point au dieu des lamas dans les commentaires).

En outre, il existe des théories connexes impliquant que les machines prennent le contrôle de l'humanité et tout ce récit de science-fiction. Cependant, il est peu probable que cela se produise si les lois d'Asimov sont suivies de manière appropriée. Même si les lois d'Asimov ne suffisaient pas, une série de contraintes serait encore nécessaire afin d'éviter l'utilisation abusive de l'AGI par des individus mal intentionnés, et les lois d'Asimov sont les plus proches de nous.


Il y a aussi l'argument selon lequel une explosion de l'intelligence (le mécanisme par lequel une singularité technologique serait théoriquement formée) serait impossible en raison de la difficulté du défi de la conception de se rendre plus intelligente à devenir plus grande proportionnellement à son intelligence, et que la difficulté de le défi de conception peut dépasser l'intelligence requise pour résoudre ledit défi de conception. << vous pouvez ajouter ceci à votre réponse pour la rendre plus complète / complète.
god of llamas

1
Les lois de la robotique d'Asimov ne sont pas prises au sérieux, elles ont en fait été conçues pour montrer les nombreuses façons dont elles pourraient mal tourner et être mal interprétées par l'IA (en supposant bien sûr que l'IA ne devienne pas assez intelligente pour les ignorer complètement et inventer la sienne). intentions et objectifs) et c’est de cela qu’il s’agit. Regardez cette vidéo .
god of llamas

@godofllamas: Merci pour votre proposition, j'ai mis à jour la réponse en conséquence. En ce qui concerne les lois d'Asimov, AFAIK, la loi zéro a été conçue précisément pour éviter les nombreuses façons dont les trois lois originales ont été (ab) utilisées dans les histoires d'Asimov. Quoi qu'il en soit, une IA devrait définitivement être contrainte d'une manière ou d'une autre, que ce soit les lois d'Asimov ou toute autre chose, pour éviter une utilisation abusive possible et de nouveaux ravages.
3442

Comprendre des choses que les humains ne peuvent pas n'est pas une exigence de la théorie de la singularité en IA. Si les machines pouvaient seulement comprendre 1% de ce que les humains comprennent mais pouvaient doubler ce niveau de compréhension chaque année, la singularité se serait produite. Même si la machine ne dépassait jamais qualitativement le cerveau humain, si elle pouvait traiter plus rapidement ou de manière plus fiable, elle ferait toujours preuve de supériorité et atteindrait probablement la domination.
FauChristian

3

Le concept de "singularité", c'est quand les machines déjouent les humains. Bien que Stephen Hawking soit d'avis que cette situation est inévitable, mais je pense qu'il sera très difficile d'y parvenir, car chaque algorithme d'IA doit être programmé par des humains, il serait donc toujours plus limité que son créateur.

Nous saurions probablement quand ce moment où l'humanité perdra le contrôle de l'intelligence artificielle où l'intelligence artificielle super intelligente serait en concurrence avec les humains et créerait peut-être des êtres intelligents plus sophistiqués, mais actuellement, cela ressemble plus à de la science-fiction (aka Skinet de Terminator ).

Le risque pourrait impliquer de tuer des gens (comme les drones de guerre auto-volant qui prennent leur propre décision), de détruire des pays ou même la planète entière (comme l'IA connectée aux armes nucléaires (aka film WarGames ), mais cela ne prouve pas que le les machines seraient plus intelligentes que les humains.


`chaque algorithme d'IA doit être programmé par des humains '-> L'idée générale derrière l'IA est que les machines peuvent apprendre en améliorant leur propre programmation. Théoriquement, cela pourrait faire en sorte que les machines finissent par devenir plus intelligentes que nous, et être en mesure de créer des algorithmes supérieurs à tout algorithme écrit par les humains, ce qui entraînerait à son tour une IA encore meilleure.
John Slegers

"Chaque algorithme d'IA doit être programmé par des humains, il serait donc toujours plus limité que son créateur" - c'est un argument intéressant. Les suivis sont des contre-arguments -1) nous n'avons pas besoin de coder l'intelligence de l'IA. nous devons coder l'IA pour pouvoir observer, inférer et comprendre. Après cela, on peut supposer que l'ajout de suffisamment de puissance de traitement et de puissances plus rapides rendrait l'IA capable d'apprendre et de mieux comprendre que nous.2) De plus, si 1000 humains appliquent leur cerveau pour construire une IA, l'IA pourrait avoir plus d'intelligence que 1 Humain.
akm

Les algorithmes n'ont PAS besoin d'être programmés par les humains. Il est possible et en fait quelque peu courant de transformer, muter, optimiser, évaluer et sélectionner des algorithmes; et les machines déjouent déjà les humains d'une certaine manière et assez fréquemment.
FauChristian

3

La singularité, dans le contexte de l'IA, est un événement théorique par lequel un système intelligent avec les critères suivants est déployé.

  1. Capable d'améliorer la portée de sa propre intelligence ou de déployer un autre système avec une telle portée améliorée
  2. Volonté ou contraint de le faire
  3. Capable de le faire en l'absence de supervision humaine
  4. La version améliorée maintient récursivement les critères (1) à (3)

Par induction, la théorie prédit alors qu'une séquence d'événements sera générée avec un taux potentiel d'augmentation de l'intelligence qui pourrait largement dépasser le taux potentiel d'évolution du cerveau.

La mesure dans laquelle cette entité auto-améliorante ou cette population d'entités procréées serait tenue de préserver la vie et la liberté humaines est indéterminée. L'idée qu'une telle obligation puisse faire partie d'un contrat logiciel irrévocable est naïve compte tenu de la nature des capacités liées aux critères (1) à (4) ci-dessus. Comme pour les autres technologies puissantes, les risques sont aussi nombreux et étendus que les avantages potentiels.

Les risques pour l'humanité ne nécessitent pas d'intelligence. Il existe d'autres contextes à l'utilisation du terme singularité, mais ils sortent du cadre de ce forum sur l'IA, mais peuvent mériter une brève mention pour plus de clarté. Génie génétique, génie nucléaire, mondialisation et fonder une économie internationale sur une source d'énergie finie consommée des milliers de fois plus rapidement qu'elle ne se produit sur la terre - Ce sont d'autres exemples de technologies à haut risque et de tendances de masse qui présentent des risques ainsi que des avantages à l'humanité.

Pour en revenir à l'IA, la principale mise en garde dans la théorie de la singularité est son incapacité à intégrer la probabilité. Bien qu'il soit possible de développer une entité conforme aux critères (1) à (4) ci-dessus, cela peut être assez improbable pour que le premier événement se produise longtemps après que toutes les langues actuelles parlées sur Terre sont mortes.

À l'autre extrême de la distribution de probabilité, on pourrait facilement affirmer qu'il existe une probabilité non nulle que le premier événement se soit déjà produit.

Dans ce sens, si une présence plus intelligente existait déjà sur Internet, quelle serait la probabilité qu'elle trouve dans son meilleur intérêt de se révéler aux êtres humains inférieurs. Nous présentons-nous une mouche qui passe?


Merci pour l'explication. Je dois admettre que je n'arrive pas à comprendre, conceptuellement, à quoi ces conditions ressembleraient pratiquement, en particulier 1). Vraisemblablement, un algorithme est implémenté avec un ensemble plus ou moins défini d'entrées et de sorties. Faut-il supposer qu'il modifie ces ensembles pour 1) être vrai? Pourquoi un développeur humain choisirait-il de permettre cela, au moins de manière incontrôlée, même longtemps avant le niveau AGI? Et ... est-ce une question naïve? :)
Cpt Reynolds

0

La «singularité», vue de près, fait référence à un point où la croissance économique est si rapide que nous ne pouvons pas faire de prédictions utiles sur ce à quoi ressemblera le futur passé.

Il est souvent utilisé de manière interchangeable avec "explosion d'intelligence", c'est-à-dire lorsque nous obtenons une IA dite forte, qui est une intelligence suffisamment intelligente pour se comprendre et s'améliorer. Il semble raisonnable de s'attendre à ce que l'explosion du renseignement conduise immédiatement à une singularité économique, mais l'inverse n'est pas nécessairement vrai.

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.