L'intelligence artificielle est-elle vulnérable au piratage?

27

L'article The Limitations of Deep Learning in Adversarial Settings explore comment les réseaux de neurones peuvent être corrompus par un attaquant qui peut manipuler l'ensemble de données avec lequel le réseau de neurones s'entraîne. Les auteurs expérimentent un réseau neuronal destiné à lire des chiffres manuscrits, sapant sa capacité de lecture en déformant les échantillons de chiffres manuscrits avec lesquels le réseau neuronal est formé.

Je crains que des acteurs malveillants ne tentent de pirater l'IA. Par exemple

Tromper les véhicules autonomes pour mal interpréter les panneaux d'arrêt par rapport à la limite de vitesse.
Contourner la reconnaissance faciale, comme celles de l'ATM.
Contourner les filtres anti-spam.
Analyse des sentiments trompeurs des critiques de films, des hôtels, etc.
Contournement des moteurs de détection d'anomalies.
Fausses commandes vocales.
Mauvais classement des prévisions médicales basées sur l'apprentissage automatique.

Quel effet contradictoire pourrait perturber le monde? Comment pouvons-nous l'empêcher?

— Surya Sg
source

6

Considérez que l' intelligence humaine est vulnérable au piratage

— Gaius

Intéressant. Êtes-vous intéressé par les «modèles de risque de paramètres contradictoires» ou quelque chose de plus proche d'une réponse de cyber-sécurité traditionnelle mais toujours carrément sur l'IA? Meilleurs vœux.

— Révélations tautologiques

19

L'IA est vulnérable sous deux angles de sécurité à mon avis:

La méthode classique d'exploitation des erreurs de programmation pure et simple pour obtenir une sorte d'exécution de code sur la machine qui exécute l'IA ou pour extraire des données.
Tromperie grâce à l'équivalent d'illusions d'optique AI pour la forme particulière de données que le système est conçu pour traiter.

Le premier doit être atténué de la même manière que tout autre logiciel. Je ne sais pas si l'IA est plus vulnérable sur ce front que les autres logiciels, je serais enclin à penser que la complexité augmente peut-être légèrement le risque.

La seconde est probablement mieux atténuée à la fois par le raffinement minutieux du système, comme indiqué dans certaines des autres réponses, mais aussi par une plus grande sensibilité du système au contexte; de nombreuses techniques contradictoires reposent sur l'évaluation des intrants dans le vide.

— Christopher Griffith
source

1

La répartition entre les vulnérabilités du code et les vulnérabilités d'utilisation est bonne. Cependant, les vulnérabilités du code sont généralement minuscules dans l'IA. La complexité de l'IA réside dans les données, qu'il s'agisse du poids des nœuds dans un réseau de neurones ou des arbres dans une forêt aléatoire. Il y a juste un peu de code pour alimenter l'IA, et le principal risque n'est pas de le suralimenter - un risque de débordement de tampon classique, facilement atténué par les techniques de la fin du 20e siècle.

— MSalters

@MSalters Je pense qu'il est difficile de tirer une conclusion générale car la complexité du code peut varier considérablement entre les différents types d'agents IA (je pense que votre commentaire est largement précis pour les réseaux de neurones). En outre, bien que les données et leur manipulation soient probablement la plus grande surface d'attaque, il serait imprudent de ne pas tenir compte du même type d'attaques qui ont permis l'exécution de code à distance via des fichiers d'image compromis par le passé qui exploitaient les failles des applications de visualisation d'images. Le vecteur correspond aux données transmises, mais le comportement relève toujours de l'en-tête de vulnérabilité du code, je pense.

— Christopher Griffith

7

Programmeur vs programmeur

C'est une «guerre à l'infini»: programmeurs contre programmeurs. Tout peut être piraté. La prévention est liée au niveau de connaissance du professionnel en charge de la sécurité et des programmeurs en sécurité applicative.

Par exemple, il existe plusieurs façons d'identifier un utilisateur qui essaie de gâcher les mesures générées par Sentiment Analysis, mais il existe également des moyens de contourner ces étapes. C'est un combat assez ennuyeux.

Agent contre agent

Un point intéressant que @DukeZhou a soulevé est l'évolution de cette guerre, impliquant deux intelligences artificielles (agents). Dans ce cas, la bataille est l'une des plus bien informées. Quel est le modèle le mieux formé, vous savez?

Cependant, pour atteindre la perfection dans le domaine de la vulnérabilité, l'intelligence artificielle ou la super intelligence artificielle surpassent la capacité de contourner l'humain. C'est comme si la connaissance de tous les hacks à ce jour existait déjà dans l'esprit de cet agent et qu'il a commencé à développer de nouvelles façons de contourner son propre système et de développer la protection. Complexe, non?

Je pense qu'il est difficile d'avoir une IA qui pense: "Est-ce que l'humain va utiliser une photo au lieu de mettre son visage pour être identifié?"

Comment pouvons-nous l'empêcher

Avoir toujours un humain pour superviser la machine, et pourtant elle ne sera pas efficace à 100%. Ceci sans tenir compte de la possibilité qu'un agent puisse améliorer seul son propre modèle.

Conclusion

Je pense donc que le scénario fonctionne de cette façon: un programmeur essaie de contourner les validations d'une IA et le développeur IA acquérant des connaissances par le biais de journaux et de tests tente de construire un modèle plus intelligent et plus sûr en essayant de réduire les risques d'échec.

— Guilherme IA
source

3

Très bonne réponse. (imo, devrait être la réponse acceptée, mais vous devez fournir un support ou des liens.) Quoi qu'il en soit, votre logique est correcte, bien que je pense que cela commencera à s'étendre au-delà de Programmer vs Programmer à Agent vs Agent à mesure que les nouveaux algorithmes augmenteront. sophistication et entreprendre ces stratégies sans incitation humaine.

— DukeZhou

1

Mis à jour! Bon point @DukeZhou

— Guilherme IA

6

Comment pouvons-nous l'empêcher?

Il existe plusieurs ouvrages sur la vérification de l'IA. Les vérificateurs automatiques peuvent prouver les propriétés de robustesse des réseaux de neurones. Cela signifie que si l'entrée X du NN n'est pas plus perturbée que sur une limite donnée ε (dans une certaine métrique, par exemple L2), alors le NN donne la même réponse à ce sujet.

Ces vérificateurs sont effectués par:

Stanford: https://arxiv.org/pdf/1702.01135.pdf
ETHZ: https://www.sri.inf.ethz.ch/papers/sp2018.pdf
Google: https://arxiv.org/pdf/1803.06567.pdf , https://arxiv.org/pdf/1805.10265.pdf
Bosch: https://arxiv.org/pdf/1805.10265.pdf

Cette approche peut aider à vérifier les propriétés de robustesse des réseaux de neurones. L'étape suivante consiste à construire un tel réseau de neurones, qui a nécessité une robustesse. Certains des articles ci-dessus contiennent également des méthodes pour le faire.

Il existe différentes techniques pour améliorer la robustesse des réseaux de neurones:

formation contradictoire (voir par exemple A. Kurakin et al., ICLR 2017 )
distillation défensive (voir par exemple N. Papernot et al., SSP 2016 )
Défense MMSTV ( Maudry et al., ICLR 2018 ).

Au moins, le dernier peut rendre NN plus robuste. Plus de littérature peut être trouvée ici .

— Ilya Palachev
source

2

Cela ressemble à une affirmation impossible ... à moins qu'il ne s'agisse de certaines entrées particulières X, plutôt que d'entrées générales X? Dans ce cas, il semble ne rien dire sur le piratage, car les entrées ne doivent pas être limitées aux perturbations de ceux qui sont en formation?

— Mehrdad

1

@Mehrdad: C'est probablement réalisable dans un sens probabiliste si l'espace d'entrée est suffisamment structuré pour que vous puissiez l'échantillonner au hasard. Autrement dit, vous pouvez probablement établir que pour 95% des entrées possibles, 95% des perturbations inférieures à ε n'affectent pas le libellé de classe. Cela revient à établir que la frontière entre les classes de sortie dans l'espace d'entrée est lisse ou que la plus grande partie de l'espace d'entrée ne se trouve pas près d'une frontière de classe. De toute évidence, une partie de l'espace d'entrée doit se trouver près d'une frontière de classe.

— MSalters

Je ne suis pas sûr que cela s'appliquerait dans le cas "contradictoire" décrit dans le document: là, (IIRC) un gradient rétroprogéné est ajouté à l'image entière, donc la modification de l'entrée complète peut être assez importante - même si le changement pour chaque pixel individuel est à peine perceptible.

— Niki

@MSalters: Je suppose que oui. Mais alors cela semble le dévaluer un peu à moins que vous ne puissiez réellement montrer que les images qui sont sur une frontière de classe devraient en fait être sur une frontière de classe ...

— Mehrdad

La phrase "La prochaine étape est de construire un tel réseau de neurones, qui a requis la robustesse" est en cours de recherche. En général, il est très difficile de se débarrasser du problème de non-robustesse NN. Mais il est possible d'améliorer la robustesse par une formation contradictoire (voir par exemple A. Kurakin et al., ICLR 2017 ), la distillation défensive (voir par exemple N. Papernot et al., SSP 2016 ), la défense MMSTV ( Maudry et al., ICLR 2018 ). Au moins, le dernier peut rendre NN plus robuste.

— Ilya Palachev

4

Je pense que oui, aucun système n'est sûr, mais je ne suis pas sûr de pouvoir le dire après 20-30 ans de développement / évolution de l'IA. Quoi qu'il en soit, il y a des articles qui montrent des humains trompant l'IA (vision par ordinateur).

https://www.theverge.com/2018/1/3/16844842/ai-computer-vision-trick-adversarial-patches-google

https://spectrum.ieee.org/cars-that-think/transportation/sensors/slight-street-sign-modifications-can-fool-machine-learning-algorithms

— Akio
source

4

L'intelligence artificielle est-elle vulnérable au piratage?

Inversez votre question un instant et pensez:

Qu'est-ce qui rendrait l'IA moins à risque de piratage par rapport à tout autre type de logiciel?

À la fin de la journée, le logiciel est un logiciel et il y aura toujours des bogues et des problèmes de sécurité. Les IA sont à risque pour tous les problèmes auxquels sont confrontés les logiciels non IA, étant donné que l'IA ne lui confère pas une sorte d'immunité.

Quant à la falsification spécifique à l'IA, l'IA risque d'être alimentée en fausses informations. Contrairement à la plupart des programmes, la fonctionnalité de l'IA est déterminée par les données qu'elle consomme.

Pour un exemple concret, il y a quelques années, Microsoft a créé un chatbot AI appelé Tay. Il a fallu moins de 24 heures aux gens de Twitter pour lui apprendre à dire "Nous allons construire un mur, et le Mexique va payer pour cela":

(Image tirée de l'article de Verge lié ci-dessous, je n'en revendique aucun crédit.)

Et ce n'est que la pointe de l'iceberg.

Quelques articles sur Tay:

BBC
Le bord

Imaginez maintenant que ce n'était pas un bot de chat, imaginez que c'était un élément important de l'IA d'un avenir où l'IA est responsable de choses comme ne pas tuer les occupants d'une voiture (c'est-à-dire une voiture autonome) ou ne pas tuer un patient la table d'opération (c'est-à-dire une sorte d'équipement d'assistance médicale).

Certes, on pourrait espérer que de telles IA seraient mieux protégées contre de telles menaces, mais en supposant que quelqu'un ait trouvé un moyen de nourrir une telle masse d'IA de fausses informations sans être remarqué (après tout, les meilleurs pirates ne laissent aucune trace), cela pourrait véritablement signifier la différence entre la vie et la mort.

En utilisant l'exemple d'une voiture autonome, imaginez si de fausses données pourraient faire croire à la voiture qu'elle devait faire un arrêt d'urgence sur une autoroute. L'une des applications de l'IA médicale concerne les décisions de vie ou de mort aux urgences, imaginez si un pirate pourrait faire pencher la balance en faveur d'une mauvaise décision.

Comment pouvons-nous l'empêcher?

En fin de compte, l'ampleur du risque dépend de la façon dont les humains deviennent dépendants de l'IA. Par exemple, si les humains prenaient le jugement d'une IA et ne le mettaient jamais en doute, ils s'ouvriraient à toutes sortes de manipulations. Cependant, s'ils utilisent l'analyse de l'IA comme une seule partie du puzzle, il deviendrait plus facile de repérer lorsqu'une IA est erronée, que ce soit par des moyens accidentels ou malveillants.

Dans le cas d'un décideur médical, ne vous fiez pas seulement à l'IA, effectuez des tests physiques et obtenez également des opinions humaines. Si deux médecins ne sont pas d'accord avec l'IA, jetez le diagnostic de l'IA.

Dans le cas d'une voiture, une possibilité est d'avoir plusieurs systèmes redondants qui doivent essentiellement «voter» sur ce qu'il faut faire. Si une voiture avait plusieurs IA sur des systèmes distincts qui doivent voter sur l'action à entreprendre, un pirate devrait supprimer plus d'une IA pour prendre le contrôle ou provoquer une impasse. Surtout, si les IA fonctionnaient sur différents systèmes, la même exploitation utilisée sur l'un ne pourrait pas être effectuée sur un autre, augmentant encore la charge de travail du pirate.

— Pharap
source

1

J'aime l'idée d'avoir plusieurs systèmes d'IA séparés qui doivent parvenir à un accord comme technique d'atténuation. Bien que vous deviez alors être assuré que le mécanisme de vote utilisé ne pouvait pas être compris pour truquer une décision.

— Christopher Griffith

@ChristopherGriffith C'est vrai, c'est un risque. Dans le cas de la voiture, la meilleure façon d'atténuer cela est de concevoir le système de sorte qu'un attaquant ait besoin d'un accès physique pour le manipuler et le rende difficile à atteindre, de sorte que la personne devra pénétrer dans la voiture pour y accéder. Garder un système hors ligne est généralement une bonne contre-mesure de piratage, mais pas toujours idéal.

— Pharap

1

Je suis d'accord avec Akio qu'aucun système n'est complètement sûr, mais le système à retenir est que les systèmes d'IA sont moins sujets aux attaques lorsqu'ils se comparent aux anciens systèmes en raison de la capacité de s'améliorer constamment.

Au fur et à mesure que le temps passe, de plus en plus de gens vont sur le terrain apporter de nouvelles idées et du matériel s'améliorera pour devenir une "IA forte".