Obtenir des priors auprès d'experts

Comment obtenir des distributions préalables d'experts lors de l'ajustement d'un modèle bayésien?

John Cook donne des recommandations intéressantes. En gros, obtenez des percentiles / quantiles (pas des moyens ou des paramètres d'échelle obscurs!) Des experts, et adaptez-les à la distribution appropriée.

http://www.johndcook.com/blog/2010/01/31/parameters-from-percentiles/

Je suis actuellement à la recherche de la méthode d' essai à la roulette pour ma thèse de maîtrise en tant que technique d'élicitation. Il s'agit d'une méthode graphique qui permet à un expert de représenter sa distribution de probabilité subjective pour une quantité incertaine.

Les experts reçoivent des jetons (ou ce que l’on peut appeler des jetons de casino) représentant des densités égales dont le total équivaudrait à 1 - par exemple 20 jetons de probabilité = 0,05 chacun. On leur demande ensuite de les disposer sur une grille préimprimée, avec des bacs représentant les intervalles de résultats. Chaque colonne représenterait leur conviction de la probabilité d'obtenir le résultat correspondant.

Exemple: On demande à un étudiant de prédire la note lors d'un prochain examen. La figure ci-dessous montre une grille complète pour obtenir une distribution de probabilité subjective. L'axe horizontal de la grille indique les emplacements possibles (ou intervalles de marques) que l'étudiant a été invité à prendre en compte. Les nombres dans la rangée supérieure enregistrent le nombre de jetons par bac. La grille complétée (avec un total de 20 jetons) montre que l'élève estime qu'il y a 30% de chances que la note se situe entre 60 et 64,9.

Certaines raisons en faveur de l’utilisation de cette technique sont:

1. Il est possible de répondre à de nombreuses questions sur la forme de la distribution de probabilité subjective de l'expert sans qu'il soit nécessaire de poser une longue série de questions à l'expert - le statisticien peut simplement lire la densité au-dessus ou au-dessous d'un point donné, ou entre deux points.

2. Au cours du processus d'élicitation, les experts peuvent se déplacer parmi les puces s'ils ne sont pas satisfaits de la façon dont ils les ont placés initialement - ils peuvent ainsi être sûrs du résultat final à soumettre.

3. Cela oblige l'expert à être cohérent dans l'ensemble des probabilités fournies. Si tous les jetons sont utilisés, les probabilités doivent être égales à un.

4. Les méthodes graphiques semblent fournir des résultats plus précis, en particulier pour les participants dont le niveau de sophistication statistique est modeste.

Obtenir des priors est une affaire délicate.

Méthodes statistiques pour obtenir des distributions de probabilité et pour établir des probabilités Les distributions sont de très bons guides pratiques pour la détermination préalable. Le processus dans les deux documents est décrit comme suit:

1. fond et préparation;
2. identifier et recruter le ou les experts;
3. motivation et formation du ou des experts;
4. la structuration et la décomposition (généralement, décider précisément quelles variables doivent être obtenues, et comment obtenir des distributions conjointes dans le cas multivarié);
5. l'élicitation elle-même.

Bien sûr, ils examinent également la manière dont l'élicitation aboutit à des informations qui peuvent être adaptées ou définissent autrement les distributions (par exemple, dans le contexte bayésien, les distributions bêta ), mais ils abordent également des pièges courants dans la modélisation des connaissances des experts (ancrage, distributions étroites et à petite queue, etc.).

Je recommanderais de laisser l'expert en la matière spécifier la moyenne ou le mode de la précédente, mais je me sens libre d'ajuster ce qu'ils donnent comme échelle . La plupart des gens ne sont pas très doués pour quantifier la variance.

Et je ne laisserais certainement pas l’expert déterminer la famille de distribution, en particulier l’épaisseur de la queue. Par exemple, supposons que vous ayez besoin d’une distribution symétrique pour un précédent. Personne ne peut spécifier avec précision sa croyance subjective de manière à distinguer une distribution normale d'une distribution, par exemple, de Student-t à 5 degrés de liberté. Mais dans certains contextes, le précédent t (5) est beaucoup plus robuste que le précédent normal. En résumé, j'estime que le choix de l'épaisseur de la queue est une question de statistique technique et non de quantification de l'opinion d'un expert.

Cette question intéressante fait l’objet de recherches au sein de l’ ACERA . Le chercheur principal est Andrew Speirs-Bridge, et son travail est éminemment google -able :)