Question interessante. Ce n'est pas vraiment une réponse, mais c'est trop long pour être un commentaire.
Je pense que votre conception expérimentale est contestée pour ces raisons:
1) Cela ne reflète pas la manière dont la sélection des actions est réellement évaluée dans le «monde réel». À titre d'exemple extrême, supposons que le sélecteur de titres A ait choisi 1 stock qui a augmenté de 1000% et 9 qui ont baissé de 1%, et que le sélecteur de titres B a choisi 10 titres qui ont tous augmenté de 1%. Si ces actions étaient réellement utilisées pour construire un indice, alors A serait clairement le plus performant, mais B ferait beaucoup mieux dans votre expérience. Un défi plus intéressant sur le plan financier serait de construire un portefeuille et de comparer sa performance à celle du S&P 500. À son tour, il existe un mécanisme couramment utilisé pour évaluer une telle performance: il suffit de faire une régression linéaire des rendements quotidiens du portefeuille contre ceux du S&P. Le terme d'interception (souvent appelé «alpha») mesure la performance moyenne «au-delà du marché». Puisqu'il s'agit d'un coefficient de régression linéaire, il est trivial de construire un intervalle de confiance à 95% si vous le souhaitez. Comparez ensuite cela aux frais que sa banque facturerait pour ce service.
2) Sans tenir compte de 1, car il semble que vous vous soyez déjà mis d'accord sur la forme de l'expérience, réfléchissez à la manière dont cela pourrait être joué. Supposons que j'aie un oracle magique qui m'indique la probabilité que chaque action soit supérieure à son prix actuel dans un mois (disons). Ensuite, je pourrais simplement choisir les actions n avec les probabilités les plus élevées, et probablement plus de 50% d'entre elles augmenteraient. Désormais, ces probabilités sont encodées (imparfaitement) dans divers prix d'options. Par exemple, je peux acheter une soi-disant «option binaire», qui est fondamentalement juste un pari sur l'événement «Stock X sera supérieur au prix Y à la date Z». Leur tarification implique une probabilité de cet événement (bien que plus la date Z est proche du présent, moins elle sera fiable). Comme suivre aveuglément la «sagesse des foules» ne nécessite aucune expertise particulière, Je dirais que les performances d'une stratégie comme celle-ci doivent être considérées comme des «niveaux de chance» pour votre expérience particulière. Alternativement, vous lui présentez une liste des actions de votre choix et lui demandez d'indiquer si elle pense que chacun sera à la hausse ou à la baisse, ainsi que sa confiance dans chaque prédiction. Ensuite, regroupez toutes les réponses par niveau de confiance et voyez à quel point elles s'alignent (c.-à-d. Des actions dont elle était à 90% confiante, en a-t-elle correctement prévu 90%?). Il existe un moyen standard de quantifier cela; je ne me souviens pas du nom, mais vous pouvez en lire plus dans Superforecasters de Phil Tetlock. et demandez-lui d'indiquer si elle pense que chacun sera à la hausse ou à la baisse, ainsi que sa confiance dans chaque prédiction. Ensuite, regroupez toutes les réponses par niveau de confiance et voyez à quel point elles s'alignent (c.-à-d. Des actions dont elle était à 90% confiante, en a-t-elle correctement prévu 90%?). Il existe un moyen standard de quantifier cela; je ne me souviens pas du nom, mais vous pouvez en lire plus dans Superforecasters de Phil Tetlock. et demandez-lui d'indiquer si elle pense que chacun sera à la hausse ou à la baisse, ainsi que sa confiance dans chaque prédiction. Ensuite, regroupez toutes les réponses par niveau de confiance et voyez à quel point elles s'alignent (c.-à-d. Des actions dont elle était à 90% confiante, en a-t-elle correctement prévu 90%?). Il existe un moyen standard de quantifier cela; je ne me souviens pas du nom, mais vous pouvez en lire plus dans Superforecasters de Phil Tetlock.