Mon météorologue est-il précis?

Une question qui me dérange depuis un certain temps, que je ne sais pas comment aborder:

Chaque jour, mon météorologue donne un pourcentage de chance de pluie (supposons que son calculé à 9000 chiffres et il n'a jamais répété un nombre). Chaque jour suivant, il pleut ou ne pleut pas.

J'ai des années de données - pct chance vs pluie ou non. Compte tenu de l'histoire de ce météorologue , s'il dit ce soir que les chances de pluie de demain sont X, alors quelle est ma meilleure estimation de la probabilité de pluie?

En fait, vous pensez à un modèle dans lequel le vrai risque de pluie, p , est fonction du risque prévu q : p = p (q ). Chaque fois qu'une prédiction est faite, vous observez une réalisation d'une variable de Bernoulli ayant une probabilité p (q) de succès. Il s'agit d'une configuration de régression logistique classique si vous souhaitez modéliser la vraie chance sous la forme d'une combinaison linéaire des fonctions de base f1 , f2 , ..., fk ; c'est-à-dire, le modèle dit

Logit ( p ) = b0 + b1 f1 (q) + b2 f2 (q) + ... + bk fk (q) + e

avec des erreurs iid e . Si vous êtes agnostique quant à la forme de la relation (bien que si le météorologue est bon p (q) - q devrait être raisonnablement petit), envisagez d'utiliser un ensemble de splines pour la base. La sortie, comme d'habitude, se compose d'estimations des coefficients et d'une estimation de la variance de e . Étant donné toute prédiction future q , branchez simplement la valeur dans le modèle avec les coefficients estimés pour obtenir une réponse à votre question (et utilisez la variance de e pour construire un intervalle de prédiction autour de cette réponse si vous le souhaitez).

Ce cadre est suffisamment flexible pour inclure d'autres facteurs, tels que la possibilité de changements dans la qualité des prévisions au fil du temps. Il vous permet également de tester des hypothèses, telles que si p = q (ce que le météorologue prétend implicitement).

La comparaison des prévisions de probabilité pour un événement binaire (ou une variable aléatoire discrète) peut être effectuée sur le score de Brier

$\tau$$\tau$

Vous devriez voir comment fonctionne le centre européen de prévisions météorologiques à moyen terme (le CEPMMT le fait ).

Lorsque la prévision indique "X pour cent de probabilité de pluie dans (zone)", cela signifie que le modèle météorologique numérique a indiqué la pluie dans X pour cent de la zone, pour l'intervalle de temps en question. Par exemple, il serait normalement exact de prévoir "100 pour cent de probabilité de pluie en Amérique du Nord". Gardez à l'esprit que les modèles sont bons pour prédire la dynamique et médiocres pour prédire la thermodynamique.

L' approche du score de Brier est très simple et la manière la plus directement applicable vérifie la précision d'un résultat prédit par rapport à un événement binaire.

Ne vous fiez pas uniquement aux formules ... tracez les scores pour différentes périodes de temps, données, erreurs, moyenne mobile [pondérée] des données, erreurs ... il est difficile de dire ce que l'analyse visuelle pourrait révéler ... après réflexion vous voyez quelque chose, vous saurez mieux quel type de test d'hypothèse effectuer jusqu'à APRÈS avoir regardé les données.

Le score de Brier suppose intrinsèquement la stabilité de la variation / des distributions sous-jacentes du temps et de la technologie à l'origine des modèles de prévision, le manque de linéarité, pas de biais, le manque de changement de biais ... il suppose que le même niveau général d'exactitude / imprécision est cohérent. Comme le climat change d'une manière qui n'est pas encore comprise, la précision des prévisions météorologiques diminuerait; à l'inverse, les scientifiques qui fournissent des informations au météorologue ont plus de ressources, des modèles plus complets, plus de puissance de calcul, alors peut-être que la précision des prévisions augmenterait. Regarder les erreurs en dirait quelque chose sur la stabilité, la linéarité et le biais des prévisions ... vous n'avez peut-être pas assez de données pour voir les tendances; vous pouvez apprendre que la stabilité, la linéarité et le biais ne sont pas un problème. Vous pouvez apprendre que les prévisions météorologiques deviennent plus précises ... ou non.

Que diriez-vous simplement de regrouper les prédictions données et de prendre les fractions observées comme estimation pour chaque groupe?

Vous pouvez généraliser cela à un modèle continu en pesant toutes les observations autour de votre valeur d'intérêt (par exemple la prédiction de demain) par un gaussien et en voyant quelle est la moyenne pondérée.

Vous pouvez deviner une largeur pour obtenir une fraction donnée de vos données (ou, disons, jamais moins de 100 points pour une bonne estimation). Vous pouvez également utiliser une méthode telle que la validation croisée de la probabilité maximale pour obtenir la largeur gaussienne.

Voulez-vous savoir si sa prévision est plus précise qu'une autre prévision? Si c'est le cas, vous pouvez consulter les mesures de précision de base pour la classification probabiliste comme l'entropie croisée, la précision / le rappel, les courbes ROC et le score f1.

Déterminer si la prévision est objectivement bonne est une autre affaire. Une option consiste à examiner l'étalonnage. De tous les jours où il a dit qu'il y aurait 90% de chances de pluie, environ 90% de ces jours ont-ils eu de la pluie? Prenez tous les jours où il a des prévisions, puis regroupez-les en fonction de son estimation de la probabilité de pluie. Pour chaque godet, calculez le pourcentage des jours où la pluie s'est réellement produite. Ensuite, pour chaque seau, tracez la probabilité réelle de pluie par rapport à son estimation de la probabilité de pluie. Le tracé ressemblera à une ligne droite si les prévisions sont bien calibrées.