Les experts sont-ils dangereux?

Je lis "Le rôle des échecs dans la recherche en intelligence artificielle" ( pdf ) et, fait intéressant, il dit:

L'expérience [...] suggère que les contributions des experts en échecs, bien que généralement utiles, ne peuvent pas être totalement fiables.

Un bon exemple de ceci est la fonction d'évaluation de Deep Thought. Plusieurs changements apportés par des experts d'échecs humains capables n'ont pas produit d'améliorations significatives et ont même parfois affecté négativement les performances de la machine.

Ici, des experts humains, avec leur expertise, ont introduit leurs propres préjugés dans le programme. Une façon de résoudre ce problème consiste à limiter le type et la quantité de contributions d'experts autorisées dans le programme; dans d'autres ayant une machine presque "sans connaissances".

• Est-ce vrai dans la recherche et la pratique modernes?
• Est-ce un gros problème, ou juste quelque chose de spécifique au jeu d'échecs?

Je pense que cela concerne davantage la résolution de problèmes d'ingénierie. La plupart des projets d'ingénierie réussis ne reproduisent pas exactement le raisonnement des experts ou la nature de l'expert. Ils ont résolu le problème d'une manière différente.

Par exemple, les machines à laver utilisent une technique différente de celle des humains, les avions utilisent une dynamique différente de celle des oiseaux.

Si vous dupliquez le raisonnement expert, leur entrée est tout . Mais si vous résolvez le même problème en utilisant différentes techniques (recherche rapide, mémoire énorme ...), leur entrée n'est que utile .

Ces problèmes sont courants dans divers domaines nécessitant un jugement.

Le chapitre sur les " prévisions et ajustements de jugement " dans Makridakis, Wheelwright et Hyndman Forecasting: Methods and applications a des histoires similaires de jugements d'experts sous-performant parfois même des systèmes très simples.

Il y a un article (Dawes et al (1989) "Clinical vs Actuarial Judgment" Science , Vol 243, No 4899, p1668-74) sur les échecs du jugement d'expert dans le domaine médical par rapport à ce qu'il appelle des méthodes "actuarielles" - fondamentalement assez simple modèles statistiques.

D'un autre côté, il existe un article dans la littérature actuarielle sur le `` caractère bruyant '' et l'incohérence du jugement d'expert dans un problème particulier dans ce domaine où le jugement d'expert est souvent considéré par ses praticiens comme d'une importance capitale.

Makridakis et al discutent des défaillances du jugement des experts dans de nombreux domaines, en ce qui concerne les prévisions, et contient pas mal de précieux conseils.

Et ainsi de suite. Les biais cognitifs abondent et les experts humains en souffrent avec tout le monde.

La question de savoir si les experts sont nuisibles ou non n'est certainement pas un problème limité au jeu d'échecs.

Une question intéressante dans la littérature concernant la conception optimale des comités de politique monétaire (MPC) est de savoir si les comités devraient comprendre ou non des experts externes qui ne sont pas des employés à temps plein de la banque centrale.

Pour mettre cela en perspective, considérons d'abord le MPC de la Banque d'Angleterre. Il est composé de cinq membres exécutifs internes de la banque et de quatre experts externes. D'autre part, la Federal Reserve Bank emploie un comité composé uniquement d'employés de banque.

Des membres experts externes sont inclus dans le MPC de la Banque d'Angleterre car ils sont censés apporter une expertise et des informations supplémentaires à celles acquises au sein de la Banque d'Angleterre.

Alors, quelle conception MPC est la meilleure? Experts ou experts?

Eh bien, ce domaine de recherche est toujours actif et a été récemment étudié par Hansen et McMahon (2010) . Je suggère de consulter les références mentionnées dans ce document pour une lecture plus approfondie sur cette question des "comités d'experts".

Est-ce un gros problème (important)? Compte tenu des effets que la décision d'un PPM peut avoir sur l'économie, je dirais que c'est un problème assez important!

Enfin, je dois mentionner que les décisions de politique monétaire peuvent, en théorie, être déléguées à un ordinateur. Par exemple, l'ordinateur pourrait être programmé pour mettre en œuvre, disons, une simple règle de politique monétaire ; par exemple, un engagement. Cela supprimerait les commentaires d'experts après que la règle de politique monétaire a été programmée dans l'ordinateur. L'utilisation de l'ordinateur dans la politique monétaire est mentionnée dans Svensson (1999) .

Référence : Stephen Eliot Hansen et Michael McMahon, 2010. «Qu'apportent des experts extérieurs à un comité? Témoignages de la Banque d'Angleterre», Documents de travail économiques 1238, Département d'économie et des affaires, Université Pompeu Fabra.

Lars EO Svensson, 1999. "Comment mener la politique monétaire à l'ère de la stabilité des prix?", Actes, Federal Reserve Bank of Kansas City, pages 195-259.

Je pense que la clé est la cohérence. L'expert possède non seulement des connaissances particulières, mais un système au sein duquel ces connaissances opèrent. Ils ont une personnalité, une stratégie globale, dans laquelle leurs tactiques résident et évoluent.

Dans un certain sens, un programme informatique jouant aux échecs est un monstre de Frankenstein créé à partir d'un mélange de divers corps (programmeurs, experts, etc.). Il n'est donc pas surprenant que les conseils d'un expert ne cadrent pas bien avec le système qui existe.

Je suis d'accord avec d'autres commentaires selon lesquels les experts ne savent peut-être pas comment ils font ce qu'ils font. Dans ce cas, étant humain, leur esprit conscient compose une histoire plausible expliquant pourquoi ils ont pris une décision particulière. Mais je pense toujours que les conseils d'experts à l'équipe de programmation sont toujours hors contexte (c'est-à-dire incompatibles avec le contexte de la conception et de l'histoire du programme).

EDIT: Il peut également y avoir un biais de renforcement ici. Je ne trouve pas de bons liens pour expliquer le biais de renforcement, mais la façon dont je comprends le terme, c'est l'effet que vous obtenez lorsque vous mettez à jour (réaménagez) un modèle supervisé en utilisant les résultats précédents du modèle - généralement indirectement - comme cibles. Il est similaire au biais de confirmation, mais il implique un niveau d'indirection. Les experts humains auraient leurs biais de renforcement, ce qui pourrait affecter les choses.