L'article Children Beating Up Robot Inspires New Escape Maneuver System est basé sur deux articles de recherche sur une expérience dans un centre commercial japonais qui a conduit des enfants sans surveillance à attaquer des robots. Le document de recherche qui vous intéresse s'intitule Échapper à l'abus des enfants par les robots sociaux .
Dans ce document de recherche, les chercheurs ont pu programmer les robots pour suivre une simulation de planification afin de réduire la probabilité d'abus par les enfants. S'il détecte des enfants, le robot est programmé pour se retirer dans une foule d'adultes (qui peuvent alors discipliner les enfants si nécessaire). Cela est arrivé parce que les chercheurs ont vu que seuls les enfants battaient les robots dans le centre commercial en question.
Ils discutent cependant d'essayer d'autres options:
Dans ce travail, la stratégie du robot pour prévenir les abus était de «s'échapper», c'est-à-dire de se déplacer vers un endroit où il est moins probable que des abus se produisent. On pourrait se demander pourquoi le robot ne peut pas surmonter les abus. Lors de nos essais préliminaires, nous avons essayé plusieurs approches, mais nous avons constaté qu'il était très difficile pour le robot de persuader les enfants de ne pas en abuser. Par exemple, nous avons changé les libellés du robot de nombreuses façons, en utilisant des mots forts, des expressions émotionnelles ou polies, mais aucun d'eux n'a réussi. Une stratégie partiellement réussie était le robot poussant «physiquement» les enfants. Lorsque son chemin était bloqué, il essayait simplement de continuer et de se comporter comme s'il entrerait en collision avec des enfants et forcerait son chemin (sous la surveillance attentive d'un opérateur humain). Nous avons observé que les enfants ont d'abord accepté les demandes du robot et leur ont obéi; mais, très vite, ils ont appris qu'ils sont plus forts que le robot afin qu'ils puissent gagner s'ils poussent, et aussi qu'ils peuvent l'arrêter en appuyant sur l'interrupteur de pare-chocs (fixé sur le robot pour plus de sécurité). Après avoir réalisé cela, ils ont juste continué avec le comportement abusif. De toute évidence, avoir un robot plus puissant poserait un problème de sécurité et d'acceptation sociale, de sorte qu'il est difficile de gérer de telles situations abusives.
Mais interrogons davantage votre question:
Si l'IA consciente est possible et répandue, ne serait-il pas facile pour quelqu'un qui sait ce qu'il fait de torturer l'IA?
Pourquoi considéreriez-vous une telle torture comme une erreur ? Après tout, on pourrait affirmer que la machine ne ressentira pas vraiment la douleur si vous la torturez ... il devrait donc être moralement acceptable de torturer la machine alors. Il peut s'agir de réagir comme s'il souffrait, mais il est douteux que la capacité de simuler un état émotionnel tel que «avoir mal» soit équivalente à être réellement dans cet état émotionnel. Voir la question La simulation des états émotionnels équivaut-elle à vivre réellement une émotion? pour plus de discussion sur ce sujet.
Vous pouvez faire un tel argument, mais cela ne fonctionnera pas vraiment sur le plan émotionnel car la plupart des humains ressentiraient de l' empathie envers la machine. Il peut être difficile de le justifier logiquement (et il peut être basé sur les tendances humaines à s'engager dans l' anthropomorphisme ), mais nous ressentons cette empathie. C'est cette empathie qui vous a amené à poser cette question en premier lieu, a incité les chercheurs à comprendre comment protéger un robot contre les coups, a permis aux policiers d' arrêter un homme ivre japonais pour avoir battu un robot SoftBank et a fait de nombreux humains bouleversé par la destruction de hitchBOT . Et c'estcomment éviter les abus de l'IA - l'empathie humaine. Si la plupart des humains se soucient du bien-être des machines, ils auront pour priorité d'arrêter ces quelques humains qui sont capables et désireux d'abuser des machines.
EDIT: L'OP a édité sa question pour clarifier qu'il parle de logiciel , et non de robots. Pour les robots, vous pouvez compter sur l'anthropomorphisme pour produire un certain niveau de sympathie, mais il est difficile de sympathiser avec des lignes de code brutes.
Vous n'allez pas arrêter l'abus d'algorithmes. Franchement, puisque les algorithmes ne nous ressemblent pas, nous n'allons pas étendre le même genre d'empathie que nous le ferions aux robots. Même les chatbots sont un peu douteux. Si vous pouviez amener les gens à sympathiser avec les lignes de code (peut-être en faisant une simulation convaincante de l'émotion et de la sapience), alors la réponse ci-dessus s'applique - les humains anthropomorphisent la machine et trouveront des contre-mesures. Nous ne sommes pas encore à ce niveau, donc "arrêter l'abus d'IA" sera une priorité faible.
Pourtant, certaines pannes peuvent être programmées pour limiter les dommages de l'abus, comme détaillé dans ce fil sur l'abus de chatbot - obliger le bot à répondre d'une manière ennuyeuse pour que l'agresseur se sente ennuyé et passe à la cible suivante, répondant à l'agresseur dans une "bataille d'esprits", ou même simplement empêcher les agresseurs d'utiliser le service.
Ces pannes sont un confort froid pour ceux qui veulent prévenir les abus, pas y répondre.
Aussi ... un agresseur peut heureusement apprendre à programmer une IA pour ensuite abuser au contenu de son cœur. Rien ne peut être fait pour arrêter cela, et toute mesure possible pour mettre fin à ces abus (comme surveiller chaque être humain pour s'assurer qu'il ne programme pas une IA pour abus) causera probablement plus de dégâts qu'elle n'en résoudrait.