Au chapitre 26 du livre Intelligence artificielle: une approche moderne (3e édition), le manuel traite de la "singularité technologique". Il cite IJ Good, qui a écrit en 1965:
Qu'une machine ultra-intelligente soit définie comme une machine qui peut dépasser de loin toutes les activités intellectuelles de tout homme, aussi intelligent soit-il. La conception de machines étant l'une de ces activités intellectuelles, une machine ultra-intelligente pourrait concevoir des machines encore meilleures; il y aurait alors incontestablement une «explosion d'intelligence» et l'intelligence de l'homme resterait loin derrière. Ainsi, la première machine ultra-intelligente est la dernière invention que l'homme ait besoin de faire, à condition que la machine soit suffisamment docile pour nous dire comment la garder sous contrôle.
Plus loin dans le manuel, vous avez cette question:
26.7 - IJ Good affirme que l'intelligence est la qualité la plus importante et que la construction de machines ultra-intelligentes changera tout. Un guépard sensible rétorque que "En fait, la vitesse est plus importante; si nous pouvions construire des machines ultrarapides, cela changerait tout" et un éléphant sensible prétend "Vous avez tous les deux tort; ce dont nous avons besoin, ce sont des machines ultrarongues," Que pensez-vous de ces machines? arguments?
Il semble que la question du manuel soit un argument implicite contre IJ Good. Le bien peut considérer l'intelligence comme une valeur, simplement parce que les forces de l'homme résident dans ce trait appelé «intelligence». Mais d'autres traits pourraient être également valorisés à la place (vitesse ou force) et les êtres sensibles peuvent spéculer sauvagement sur le fait que leurs traits préférés soient «maximisés» par une machine ou une autre.
Cela me fait me demander si une singularité pourrait se produire si nous avions construit des machines qui ne maximisent pas l' intelligence, mais maximisent plutôt un autre trait (une machine qui augmente toujours sa force ou une machine qui augmente toujours sa vitesse). Ces types de machines peuvent être tout aussi transformateurs - les machines ultrarapides peuvent résoudre les problèmes rapidement en raison de la «force brute», et les machines ultrastrongues peuvent utiliser sa puissance brute pour une variété de tâches physiques. Peut-être qu'une machine ultra-X ne peut pas construire une autre machine ultra-X (comme IJ Good a traité la conception des machines comme une activité intellectuelle), mais une machine qui s'améliore continuellement laisserait ses créateurs loin derrière et forcerait ses créateurs à être en dépend.
Les singularités technologiques sont-elles limitées aux ultra-intelligences? Ou que les singularités technologiques soient causées par des machines qui ne sont pas des «IA puissantes» mais qui sont toujours des «ultra» optimiseurs?