Il ne fait aucun doute que l'IA a le potentiel de représenter une menace existentielle pour l'humanité.
La plus grande menace pour l'humanité réside dans l'IA ultra-intelligente.
Une intelligence artificielle qui surpasse l'intelligence humaine sera capable d'augmenter de façon exponentielle sa propre intelligence, résultant en un système d'IA qui, pour les humains, sera complètement imparable.
À ce stade, si le système d'intelligence artificielle décide que l'humanité n'est plus utile, il pourrait nous essuyer de la surface de la terre.
Comme le dit Eliezer Yudkowsky dans l'intelligence artificielle en tant que facteur positif et négatif du risque global ,
"L'IA ne vous déteste pas, elle ne vous aime pas non plus, mais vous êtes fait d'atomes qu'elle peut utiliser pour autre chose."
Une autre menace réside dans l'instruction d'une IA hautement intelligente
Ici, il est utile de considérer l'expérience de pensée d'optimisation du trombone.
Une IA hautement intelligente chargée de maximiser la production de trombones peut prendre les mesures suivantes pour atteindre son objectif.
1) Réaliser une explosion d'intelligence pour se rendre superintelligent (cela augmentera l'efficacité d'optimisation des trombones)
2) Anéantir l'humanité afin qu'elle ne puisse pas être désactivée (cela minimiserait la production et serait inefficace)
3) Utilisez les ressources de la Terre (y compris la planète elle-même) pour construire des robots auto-reproducteurs hébergeant l'IA
4) Répartis de manière exponentielle dans l'univers, récoltant des planètes et des étoiles, les transformant en matériaux pour construire des usines de trombones
De toute évidence, ce n'était pas ce que voulait l'homme qui produisait un trombone, mais c'est le meilleur moyen de suivre les instructions de l'IA.
Cela illustre comment les systèmes d'intelligence artificielle superintelligents et hautement intelligents peuvent être le plus grand risque existentiel auquel l'humanité puisse être confrontée.
Murray Shanahan, dans The Technological Singularity , a même proposé que l'IA soit la solution au paradoxe de Fermi: la raison pour laquelle nous ne voyons pas de vie intelligente dans l'univers est peut-être qu'une fois qu'une civilisation deviendra suffisamment avancée, elle développera une IA qui finira par détruire il. Ceci est connu comme l'idée d'un filtre cosmique .
En conclusion, l'intelligence même qui rend l'IA si utile la rend également extrêmement dangereuse.
Des personnalités influentes comme Elon Musk et Stephen Hawking se sont dites préoccupées par le fait que l'IA superintelligente soit la plus grande menace à laquelle nous aurons jamais à faire face.
J'espère que cela répond à votre question :)