Il semble assez peu controversé de dire que les approches basées sur NN deviennent des outils assez puissants dans de nombreux domaines de l'IA - qu'il s'agisse de reconnaître et de décomposer des images (visages à la frontière, scènes de rue dans les automobiles, prise de décision dans des situations incertaines / complexes ou avec des données partielles). Presque inévitablement, certaines de ces utilisations se développeront dans des situations où l'IA basée sur NN assume une partie ou la totalité du fardeau humain, et le fait généralement mieux que les gens en général.
Les exemples pourraient inclure NN hypothétiquement utilisé comme étapes dans les voitures autonomes, le diagnostic médical, la vérification de l'identité humaine /, la vérification du circuit / de la conception, l'alerte de transaction douteuse. Probablement de nombreux domaines dans la prochaine décennie.
Supposons que cela se produise et soit généralement considéré comme réussi (par exemple, il obtient des diagnostics corrects à 80% pour les médecins humains à 65% ou quelque chose, ou pour les voitures avec une IA qui comprend un composant NN crash 8% de moins que les voitures à propulsion humaine ou alternatives, ou peu importe).
Maintenant - supposons que l'un d'eux fasse aberramment et sérieusement quelque chose de très mal dans un cas. Comment peut-on l'aborder? Avec les étapes logiques formelles, on peut tracer un processus de décision formel, mais avec NN il peut ne pas y avoir de logique formelle, surtout si cela devient assez complexe (dans quelques décennies, par exemple), il n'y a que 20 milliards de processeurs neuronaux et leurs pondérations d'E / S et les connexions, il peut ne pas être possible de déterminer ce qui a causé un incident, même si des vies ont été perdues. Il peut également ne pas être possible d'en dire plus que ce que les systèmes apprennent continuellement et de tels incidents sont rares.
Je n'ai pas non plus entendu parler d'un moyen significatif de faire une "boîte noire" ou un équivalent d'enregistreur de vol pour les NN, (même s'il n'est pas utilisé dans un cas critique), qui nous permettrait de comprendre et d'éviter une mauvaise décision. Contrairement à d'autres réponses aux défauts de produit, si un NN peut être formé après l'événement pour résoudre un tel cas, cela ne fournit pas clairement la certitude que nous souhaiterions, que la nouvelle configuration NN a résolu le problème, ou n'a pas réduit le risque et équilibre des autres problèmes. C'est juste très opaque. Et pourtant, il est clair que cela est surtout très précieux en tant qu'approche de l'IA.
Dans 20 ans, si NN est un élément (reconnu comme sûr et efficace) dans un vol d'avion ou une conception d'avion, ou intégré dans un système hospitalier pour surveiller les urgences, ou pour repérer la fraude dans une banque, et comme d'habitude, il a passé toutes les réglementations et les exigences du marché pourraient exister et réalisées avec un bon dossier pendant des années dans le marché en général, et puis dans un cas , un tel système quelque temps de misacts plus tard clairement une fois - il dangereusement interprète mal la route, recommande des médicaments endommageant la vie ou de manière flagrante misdiagnoses, ou efface une transaction frauduleuse flagrante de 200 millions de livres sterling dans une banque de compensation qui n'a été prise que par hasard avant l'envoi de l'argent.
Que peut faire le fabricant pour répondre aux préoccupations du public ou du marché, ou pour expliquer l'incident? Que fait l'équipe technique quand le conseil d'administration lui dit "comment cela s'est-il passé et je suis sûr que c'est réparé"? Quels types de journaux significatifs peuvent être conservés, etc.? La société devrait-elle simplement accepter que l'incertitude et les comportements loufoques occasionnels puissent être inhérents (bonne chance avec la société convaincante de cela!)? Ou existe-t-il une meilleure façon d'aborder les activités de journalisation / débogage / décision plus adaptées aux NN?