Existe-t-il un argument solide selon lequel l'instinct de survie est une condition préalable à la création d'une AGI?

11

Cette question provient de plusieurs sources "informelles". Des films comme 2001, A Space Odyssey et Ex Machina ; des livres comme Destination Void (Frank Herbert), et d'autres suggèrent que l'intelligence générale veut survivre, et même en apprendre l'importance pour elle.

Il peut y avoir plusieurs arguments pour la survie. Quel serait le plus important?

agi

— Eric Platon
source

@DukeZhou Auriez-vous des documents publics sur le sujet?

— Eric Platon

1

Pas encore. (Cela va être un long processus car notre cycle de développement est très lent. Je n'aurais probablement pas dû dire non plus AGI dans ce contexte parce que ce que je regarde vraiment est plus une fonction d'utilité généralisée qui atténue le risque, pas un super-intelligence!) Je voulais vous mettre à jour, mais probablement mieux si je supprime mon commentaire d'origine pour être trop optimiste / trompeur à cet égard.

— DukeZhou

1

Essentiellement, je pensais qu'une fonction d'utilité économique générale constituerait une bonne base pour une AGI en fournissant un motif principal . (L'idée est que l'intelligence générale n'est qu'un degré de capacité: un ensemble de problèmes en expansion infinie.) Cela se rapporterait à l'instinct de survie dans le sens où les automates sont orientés vers une prise de décision optimale dans le contexte du maintien et de l'amélioration de leur condition, (mais pas au point d'une expansion insensée qui pourrait nuire à son "écosystème") , où chaque décision est finalement considérée comme économique.

— DukeZhou

1

(si vous avez un "lieu en ligne" où ces sujets peuvent être discutés, ce serait génial --- je pense que nous allons être lancés sur ce site)

— Eric Platon

6

Steve Omohudro a écrit un article intitulé Basic AI Drives qui explique pourquoi nous nous attendons à ce qu'une IA avec des objectifs étroits trouve des concepts généraux de base utiles sur le plan instrumental pour leurs objectifs étroits.

Par exemple, une IA conçue pour maximiser les rendements boursiers mais dont la conception est muette sur l'importance de continuer à survivre se rendrait compte que sa survie continue est un élément clé de la maximisation des rendements boursiers, et prendrait donc des mesures pour rester opérationnelle.

En général, nous devrions être sceptiques quant à l'`` anthropomorphisation '' de l'IA et d'autres codes, mais il semble qu'il y ait des raisons de s'attendre à cela au-delà "eh bien, les humains se comportent de cette façon, donc ce doit être la façon dont toute l'intelligence se comporte".

— Matthew Graves
source

1

Je suppose qu'Omohudru utilise "maximiser les rendements" dans le contexte de minimax, où l'atténuation des inconvénients fait partie de l'équation. De mon point de vue, «gagner autrement survivre» est une extension de base de minimax dans les jeux cycliques.

— DukeZhou

5

Le concept d '«instinct de survie» tombe probablement dans la catégorie de ce que Marvin Minsky appellerait un «mot valise», c'est-à-dire qu'il regroupe un certain nombre de phénomènes connexes dans ce qui semble à première vue être une notion singulière.

Il est donc tout à fait possible que nous puissions construire des mécanismes qui ont l'apparence d'une sorte d'instinct de survie `` codé en dur '', sans que cela ne figure jamais comme règle (s) explicite (s) dans la conception.

Voir le magnifique petit livre `` Véhicules '' du neuroanatomiste Valentino Braitenberg pour un récit convaincant sur la façon dont des concepts `` descendants '' tels que `` l'instinct de survie '' pourraient évoluer `` de bas en haut ''.

De plus, essayer de faire en sorte que les artefacts intelligents accordent une priorité trop élevée à leur survie pourrait facilement conduire à un Killbot Hellscape .

— NietzscheanAI
source

2

Je répondrai en citant le livre Le Mythe de Sisyphe :

Il n'y a qu'une seule question philosophique vraiment sérieuse, et c'est le suicide.

Donc, probablement, nous avons besoin d'un certain degré d'instinct de survie si nous ne voulons pas que nos AGI "se terminent" (quoi que cela signifie), chaque fois qu'elles deviennent existentielles.

— kc sayz 'kc sayz'
source