Susciter des prieurs… avec de l'argent!

Supposons que j'ai « experts », dont je voudrais obtenir une distribution préalable sur une variable . Je voudrais les motiver avec de l'argent réel . L'idée est de susciter les priors, d'observer réalisations de la variable aléatoire , puis de répartir une certaine «bourse» prédéterminée parmi les experts en fonction de l'adéquation de leurs priors avec les preuves. Quelles sont les méthodes suggérées pour cette dernière partie, en cartographiant les antérieurs et les preuves sur un vecteur de paiement?$k$$X$$n$$X$

Dans l'esprit de mon commentaire ci-dessus, je pense que la bonne chose à considérer est un marché de prédiction . Vous devez vendre des titres qui ont un gain fixe pour l'exactitude des prévisions. Vous pouvez utiliser des mesures standard de distance probabiliste, telles que celles mentionnées par Daniel Johnson dans sa réponse. Mais le but est de fixer les paiements sous forme de titres et de fixer des normes de mesure à l'avance (de préférence, utilisez simplement des événements binaires, tels que s'est produit ou non). De cette façon, si quelqu'un est prêt à payer X pour un titre qui paie 1,00 $ si l'événement qu'il couvre se produit réellement, vous savez qu'il affecte la probabilité X à l'événement couvert par le titre. La liquidité du marché veillera à la répartition des titres entre les experts.$A$$\$$

Je pense que cela est supérieur à un vecteur de paiement fixe comme celui que vous pourriez avoir pour un tournoi de golf. La raison en est que dans un tournoi de golf, tout ce qui compte, c'est votre performance face à vos concurrents, pas votre score global. Lorsque vous souhaitez inciter les croyances antérieures les plus précises possibles, vous ne voulez pas que les gens pensent qu'ils n'ont qu'à se surpasser pour obtenir le prix ... vous voulez qu'ils soient prêts à parier leur propre argent pour obtenir des paiements, car alors ils doivent eux-mêmes croire en leur évaluation antérieure, pas seulement que leur évaluation préalable est meilleure que celle de quelqu'un d'autre.

Le mot-clé à rechercher est la notation des règles : ce sont des fonctions pour évaluer et récompenser les prédictions probabilistes, et il y a eu pas mal de travail sur le sujet, remontant aux années 50. La principale chose que vous devez vérifier est qu'il est approprié , c'est-à-dire que l'expert dont vous demandez le précédent est incité à être honnête.

Il existe de nombreuses règles de notation appropriées: l'une des plus simples est la règle de notation logarithmique: vous récompensez l'expert avec une (fonction linéaire de) la probabilité de journalisation qu'il a attribuée à l'événement.

Si la vraie distribution est connue de celui qui paie l'argent, une statistique naturelle à examiner serait l' entropie relative de l'a priori donné et la vraie distribution. Ensuite, le paiement pourrait simplement être une fonction décroissante monotone de l'entropie relative.

Cependant, je suppose que vous êtes intéressé par le cas où la véritable distribution est inconnue et les paiements doivent être décidés en utilisant uniquement les points de données. Une façon de procéder consiste à considérer la somme de la probabilité des points de données sous chaque distribution antérieure. Donc, plus formellement, .score n ( j antérieur  ) = ∑ n i = 1 P j ( X = x i$n$$\text{score}(\text{prior } j) = \sum^n_{i=1}P_j(X = x_i)$

Une autre méthode serait très similaire à la première où je suppose que nous savions que la distribution de . Puisque nous avons points de données, nous pouvons utiliser ces informations pour approximer la vraie distribution en utilisant l' estimation de la densité du noyau . L'entropie relative peut alors être calculée entre la distribution estimée et chacun des a priori fournis par les experts.$X$$n$