La singularité, dans le contexte de l'IA, est un événement théorique par lequel un système intelligent avec les critères suivants est déployé.
- Capable d'améliorer la portée de sa propre intelligence ou de déployer un autre système avec une telle portée améliorée
- Volonté ou contraint de le faire
- Capable de le faire en l'absence de supervision humaine
- La version améliorée maintient récursivement les critères (1) à (3)
Par induction, la théorie prédit alors qu'une séquence d'événements sera générée avec un taux potentiel d'augmentation de l'intelligence qui pourrait largement dépasser le taux potentiel d'évolution du cerveau.
La mesure dans laquelle cette entité auto-améliorante ou cette population d'entités procréées serait tenue de préserver la vie et la liberté humaines est indéterminée. L'idée qu'une telle obligation puisse faire partie d'un contrat logiciel irrévocable est naïve compte tenu de la nature des capacités liées aux critères (1) à (4) ci-dessus. Comme pour les autres technologies puissantes, les risques sont aussi nombreux et étendus que les avantages potentiels.
Les risques pour l'humanité ne nécessitent pas d'intelligence. Il existe d'autres contextes à l'utilisation du terme singularité, mais ils sortent du cadre de ce forum sur l'IA, mais peuvent mériter une brève mention pour plus de clarté. Génie génétique, génie nucléaire, mondialisation et fonder une économie internationale sur une source d'énergie finie consommée des milliers de fois plus rapidement qu'elle ne se produit sur la terre - Ce sont d'autres exemples de technologies à haut risque et de tendances de masse qui présentent des risques ainsi que des avantages à l'humanité.
Pour en revenir à l'IA, la principale mise en garde dans la théorie de la singularité est son incapacité à intégrer la probabilité. Bien qu'il soit possible de développer une entité conforme aux critères (1) à (4) ci-dessus, cela peut être assez improbable pour que le premier événement se produise longtemps après que toutes les langues actuelles parlées sur Terre sont mortes.
À l'autre extrême de la distribution de probabilité, on pourrait facilement affirmer qu'il existe une probabilité non nulle que le premier événement se soit déjà produit.
Dans ce sens, si une présence plus intelligente existait déjà sur Internet, quelle serait la probabilité qu'elle trouve dans son meilleur intérêt de se révéler aux êtres humains inférieurs. Nous présentons-nous une mouche qui passe?