Étant donné le problème d'arrêt prouvé pour les machines Turing , pouvons-nous en déduire les limites de la capacité d'une forte intelligence artificielle?
Étant donné le problème d'arrêt prouvé pour les machines Turing , pouvons-nous en déduire les limites de la capacité d'une forte intelligence artificielle?
Réponses:
Le problème de l'arrêt implique-t-il des limites à la cognition humaine?
Oui, absolument - qu'il y a des morceaux de code qu'un humain pourrait regarder et ne pas être sûr qu'il s'arrêtera dans un temps fini. (Il y a certainement des morceaux de code qu'un humain peut regarder et dire «oui» ou «non» définitivement, mais nous parlons de ceux qui sont en fait assez difficiles à analyser.)
Le problème d'arrêt signifie qu'il existe des types d'analyse de code qu'aucun ordinateur ne pourrait faire, car c'est mathématiquement impossible. Mais le domaine des possibilités est encore suffisamment grand pour permettre une forte intelligence artificielle (au sens de code qui peut se comprendre suffisamment pour s'améliorer).
Le problème d'arrêt est un exemple d'un phénomène général connu sous le nom d' Undécidabilité , qui montre qu'il y a des problèmes qu'aucune machine de Turing ne peut résoudre en temps fini. Considérons la généralisation selon laquelle il est indécidable qu'une machine de Turing satisfasse une propriété P non triviale, appelée théorème de Rice .
Notez d'abord que le problème d'arrêt ne s'applique que si la machine de Turing prend une entrée arbitrairement longue. Si l'entrée est bornée, il est possible d'énumérer tous les cas possibles et le problème n'est plus indécidable. Il peut être encore inefficace de le calculer, mais nous nous tournons ensuite vers la théorie de la complexité, qui devrait être une question distincte.
Le théorème de Rice implique qu'une intelligence (un humain) ne peut pas déterminer si une autre intelligence (comme un AGI) possède une certaine propriété, comme être amicale . Cela ne signifie pas que nous ne pouvons pas concevoir une AGI amicale, mais cela signifie que nous ne pouvons pas vérifier si une AGI arbitraire est amicale. Donc, bien que nous puissions éventuellement créer une IA qui est garantie d'être conviviale, nous devons également nous assurer que les TI ne peuvent pas créer une autre IA qui soit hostile.