Comment mesurer l'exactitude des prévisions probabilistes?

Supposons que je fasse un tas de prévisions probabilistes comme:

70% de probabilité que la croissance des ventes soit de 10 à 15% au premier trimestre, 10% de probabilité que la croissance des ventes soit> 15%, 20% de probabilité que la croissance des ventes soit <10%

Compte tenu des données réelles, quelle est la meilleure façon de mesurer ou de suivre ma précision? Score Brier?

Et puis-je faire la moyenne de mon score Brier pour différents types de prévisions? (par exemple, trouvez le score de brier pour la prévision "il y a 80% de chances de pluie" et faites la moyenne avec les prévisions de croissance des ventes)

forecasting scoring-rules

— Emile
source

J'hésiterais à utiliser le score Brier pour les résultats ordinaux avec 3+ catégories comme ici où les ventes peuvent être classées comme faible / moyenne / élevée. Le score de Brier traite chaque résultat comme équidistant des autres.

— RobertF

Vos données sont-elles intrinsèquement ordinales, comme @RobertF semble le supposer? Si c'est le cas, cela ajoute de la complexité, comme il l'écrit, et ce serait bien si vous pouviez le modifier dans votre message. Sinon, vous pouvez utiliser des règles de notation appropriées , comme le Brier ou d'autres. Et oui, vous pouvez les calculer en moyenne.

— Stephan Kolassa

Je crois que mon exemple utilise des données ordinales, mais je ne comprends pas ce que vous entendez par "ordinairement intrinsèque". Cependant, je pourrais changer ma prévision pour être juste une croissance des ventes de 12%. Si oui, j'utiliserais quelque chose comme MAE? Mais la raison pour laquelle j'ai inclus les probabilités est de tenir compte de la variabilité et des événements rares. Par exemple, la croissance attendue des ventes de mes prévisions pourrait être de 12%, mais il pourrait y avoir une faible probabilité de croissance négative des ventes. Bien qu'il soit peu probable que cela se produise, il peut être utile de connaître la probabilité d'une croissance négative des ventes. Je veux donc refléter cela dans mes prévisions d'une manière ou d'une autre.

— Emile

Par "intrinsèquement ordinale", je voulais dire si votre problème sous-jacent est ordinale, ou si l'exemple que vous avez utilisé venait juste d'être ordinal. Apparemment, c'est le premier.

— Stephan Kolassa

Votre commentaire donne l' impression que vous recherchez réellement une prévision de densité plutôt qu'une prévision ponctuelle, c'est-à-dire que vous souhaitez prévoir la distribution complète des probabilités des résultats futurs. C'est une très bonne idée. La prévision de la densité est courante dans les prévisions financières ou économétriques, mais malheureusement, elle est rarement traitée dans d'autres manuels et cours de prévision. Tay & Wallis (2000, Journal of Forecasting ) donnent une première enquête utile.

La manière la plus courante d'évaluer les prévisions de densité utilise la transformation intégrale de probabilité (PIT). La référence canonique est Diebold, Gunther & Tay (1998, International Economic Review ) . Berkowitz (2001, Journal of Business & Economic Statistics ) et Bao, Lee & Saltoglu (2007, Journal of Forecasting ) donnent des alternatives.

Récemment, l'intérêt pour les règles de notation (appropriées) a augmenté , comme le score Brier que vous mentionnez. La littérature comprend Mitchell & Wallis (2011, Journal of Applied Econometrics ) et Gneiting, Balabdaoui & Raftery (2007, JRSS-B ) .

Enfin, Gneiting & Katzfuss (2014, Annual Review of Statistics and its Application ) donne un aperçu plus récent des prévisions de densité (ou probabilistes), en se concentrant à nouveau sur les règles de notation.

— Stephan Kolassa
source

Pourriez-vous expliquer, en termes simples, la méthode la plus appropriée pour faire une prévision de densité et les règles de notation les plus appropriées pour mon exemple. Ou vous pouvez pointer vers un article / livre. Je suppose que ce que je demande est une recette: étapes pour faire une prévision de densité / probabiliste, puis quelques autres étapes pour évaluer l'exactitude des prévisions individuelles et / ou multiples. Et idéalement, je peux faire le calcul sur une calculatrice ordinaire (sans logiciel spécialisé). Si une intégrale est requise, quel type d'approximations puis-je faire pour simplifier l'équation. Vous cherchez quelque chose que je peux faire "au dos de l'enveloppe".

— Emile

J'adorerais lire ces journaux, mais franchement, ils sont au-dessus de ma tête.

— Emile

Ah. Je vous recommande de consulter un manuel de prévision standard, par exemple Ord & Fildes, Principles of Business Forecasting , section 5.2 et autres, où les intervalles de prédiction sont calculés en utilisant une approche de distribution normale. Hyndman & Athanosopoulos ne couvrent malheureusement pas les prévisions de densité. En ce qui concerne les règles de notation, je ne pense pas vraiment qu'il y ait une "meilleure" claire dans votre cas - choisissez-en une que vous pouvez facilement mettre en œuvre. Cependant, vous aurez probablement au moins besoin de tableaux de distribution normaux, donc ce serait bien si vous

— regardiez

... Hyndman & Athanasopoulos font tout avec R, donc leur livre sert d'introduction à la prévision en utilisant R. Bonne chance!

— Stephan Kolassa