Je répondrai à cette question en plusieurs parties:
Pourquoi les systèmes AGI doivent-ils avoir du bon sens?
Les humains dans la raison sauvage et communiquent plus avec le bon sens qu'avec une logique stricte, vous pouvez le voir en notant qu'il est plus facile de faire appel à l'émotion de quelqu'un que la logique. Ainsi, tout système qui cherche à reproduire la cognition humaine (comme dans AGI) devrait également reproduire cette tendance à utiliser le bon sens.
Plus simplement, nous souhaiterions que notre système AGI puisse nous parler dans un langage de bon sens simplement parce que c'est ce que nous comprenons le mieux (sinon nous ne comprendrions pas notre AGI amical, n'est-ce pas?). La théorie obscure et la logique stricte peuvent être techniquement correctes, mais ne font pas appel à notre compréhension.
Le but d'AGI n'est-il pas de créer le système le plus avancé cognitivement? Pourquoi le système AGI "le plus parfait" devrait-il faire face à de telles imperfections et imprécisions présentes dans le bon sens?
Premièrement, il peut sembler que la logique du bon sens soit "irrationnelle". Il existe peut-être une manière mathématique cohérente de modéliser le bon sens de telle sorte que toutes les subtilités du bon sens soient représentées de manière rigoureuse.
Deuxièmement, les premières études sur l'intelligence artificielle ont commencé dans l'étude des sciences cognitives, où les chercheurs ont tenté de reproduire des «algorithmes de l'esprit», ou plus précisément: des procédures décidables qui reproduisaient la pensée humaine. Dans cette mesure, l'étude de l'IA ne vise donc pas à créer «l'agent cognitif le plus suprême» mais à reproduire simplement la pensée / le comportement humain. Une fois que nous pouvons reproduire le comportement humain, nous pouvons peut-être essayer de créer quelque chose de surhumain en lui donnant plus de puissance de calcul, mais ce n'est pas garanti.
Je ne vois toujours pas pourquoi le bon sens est nécessaire dans les systèmes AGI. AGI n'est-il pas d'être le système informatique le plus intelligent et le plus puissant? Pourquoi devrait-il se soucier ou se conformer aux limites de la compréhension humaine, ce qui nécessite le bon sens?
Peut-être alors vous avez un peu une compréhension mal alignée de ce qu'implique AGI. AGI ne signifie pas une puissance de calcul illimitée (physiquement impossible en raison de contraintes physiques sur le calcul telles que la limite de Bremermann ) ou une intelligence illimitée (peut-être physiquement impossible en raison de la contrainte préalable). Cela signifie généralement juste «intelligence générale» artificielle, sens général large et commun.
Les considérations sur les agents illimités sont étudiées plus en détail dans des domaines tels que l'informatique théorique (théorie des types, je crois), la théorie de la décision et peut-être même la théorie des ensembles, où nous pouvons poser des questions sur les agents dotés d'une puissance de calcul illimitée. Nous pourrions dire qu'il y a des questions auxquelles même un système AGI avec une puissance illimitée ne peut pas répondre en raison du problème d'arrêt , mais seulement si les hypothèses sur ces champs correspondent à la structure de l'AGI donné, ce qui pourrait ne pas être vrai.
Pour une meilleure compréhension de ce qu'AGI pourrait impliquer et de ses objectifs, je pourrais recommander deux livres: Artificial Intelligence: The Very Idea de John Haugeland pour une approche plus pragmatique (aussi pragmatique que puisse être la philosophie de l'IA, et On the Origin of Objects by Brian Cantwell Smith pour une approche plus philosophique.
Comme amusement de côté, la collection de Zen koan: The Gateless Gate, comprend le passage suivant: (cité et édité à partir de wikipedia )
Un moine a demandé à Zhaozhou, un maître zen chinois, "A-t-il un chien de nature Bouddha ou pas?" Zhaozhou a répondu, "Wú"
Wú (無) se traduit par «aucun», «non» ou «rien», ce qui peut être interprété comme évitant de répondre par oui ou par non. Cet individu éclairé ne cherche pas à répondre strictement à toutes les questions, mais simplement à répondre d'une manière sensée. Peu importe que le chien ait ou non la nature de Bouddha (quelle que soit la nature de Bouddha), le maître par défaut absout la question plutôt que de la résoudre.