Qu'est-ce que cela signifie que l'AUC est une règle de notation semi-correcte?

Une règle de notation appropriée est une règle qui est maximisée par un `` vrai '' modèle et qui ne permet pas de `` couvrir '' ou de jouer le système (rapportant délibérément des résultats différents, comme le croit réellement le modèle pour améliorer le score). Le score Brier est correct, la précision (proportion correctement classée) est incorrecte et souvent découragée. Parfois, je vois que l'AUC est appelée une règle de notation semi-correcte, ce qui la rend non complètement fausse en termes de précision, mais moins sensible que les règles appropriées (par exemple ici /stats//a/90705/53084 ).

Que signifie la règle de notation semi-correcte? Est-ce défini quelque part?

Commençons par un exemple. Imaginons qu'Alice est entraîneuse d'athlétisme et souhaite choisir un athlète pour représenter l'équipe lors d'un prochain événement sportif, un sprint de 200 mètres. Naturellement, elle veut choisir le coureur le plus rapide.

• Une règle de notation strictement appropriée consisterait à désigner le coureur le plus rapide de l'équipe sur la distance de 200 mètres. Cela maximise exactement ce que l'entraîneur Alice veut dans cette situation. L'athlète avec la performance attendue la plus rapide est sélectionné - il s'agit d'un test discriminatoire équitable.
• Une bonne règle de notation serait de choisir un athlète capable de courir le 200m le plus rapidement mais le temps est arrondi à la demi-seconde la plus proche. Le meilleur athlète ainsi que potentiellement d'autres athlètes pourront également passer ce test. Tous les athlètes qui sont sélectionnés de cette manière sont assez compétitifs mais ce n'est clairement pas un test discriminatoire parfait de la vitesse.
• Une règle de notation semi-appropriée serait de choisir un athlète capable de courir 200 m en dessous d'un seuil de temps compétitif, par exemple 22 secondes. Comme auparavant, le meilleur athlète ainsi que certains autres athlètes pourront également passer ce test. De même, tous les athlètes qui sont sélectionnés de cette façon peuvent être assez compétitifs, mais non seulement ce n'est pas un test discriminatoire parfait, mais cela peut aussi devenir horriblement mauvais (si nous choisissons un temps trop clément ou trop strict). Notez que ce n'est pas tout à fait faux.
• Une règle de notation incorrecte serait de choisir l'athlète avec les jambes les plus fortes, par exemple qui peut s'accroupir le plus de poids. Certes, tout bon sprinter a probablement des jambes très fortes mais ce test signifie que certains gars de l'équipe d'haltérophilie vont exceller ici. De toute évidence, un haltérophile dans une course de 200 mètres serait catastrophique!

Bien que quelque peu banalisé, l'exemple ci-dessus montre ce qui se passe avec l'utilisation des règles de notation. Alice prévoyait le temps de sprint prévu. Dans le contexte de la classification, nous prévoyons des probabilités minimisant l'erreur d'un classificateur probabiliste.

• Une règle de notation strictement appropriée , comme le score de Brier, garantit que le meilleur score ne sera atteint que lorsque nous serons aussi proches des vrais probabilités que possible.
• Une règle de notation appropriée , comme le score de probabilité classée continue (CRPS), ne garantit pas que le meilleur score ne sera atteint que par un classificateur dont les prédictions sont les plus proches des vrais probabilités. D'autres classificateurs candidats pourraient atteindre des scores CRPS qui correspondent à ceux du classificateur optimal.
• Une règle de notation semi-appropriée , comme l'AUC-ROC, non seulement ne garantit pas que les meilleures performances seront atteintes par un classificateur dont les prédictions sont les plus proches des vraies probabilités, mais il est également (potentiellement) possible d'améliorer les valeurs de l'AUC-ROC en éloignant les probabilités prédites de leurs vraies valeurs. Néanmoins, dans certaines conditions (par exemple, la distribution des classes est a priori connue dans le cas de l'AUC-ROC), ces règles peuvent se rapprocher d'une règle de notation appropriée. Byrne (2016) « Une note sur l'utilisation de l'AUC empirique pour évaluer les prévisions probabilistes » soulève quelques points intéressants concernant l'AUC-ROC.
• Une règle de notation incorrecte , comme la précision, offre peu ou pas de connexion à notre tâche initiale de prédire les probabilités le plus près possible des vraies probabilités.

Comme nous le voyons, la règle de notation semi-correcte n'est pas parfaite mais elle n'est pas non plus catastrophique. En fait, cela peut être très utile lors de la prédiction! Cagdas Ozgenc a un excellent exemple ici où travailler avec une règle incorrecte / semi-appropriée est préférable à une règle strictement correcte. En général, le terme règle de notation semi-appropriée n'est pas très courant. Il est associé à des règles incorrectes qui peuvent néanmoins être utiles (par exemple, AUC-ROC ou MAE dans la classification probabiliste).

Enfin, remarquez quelque chose d'important. Comme le sprint est associé à des jambes fortes, il en va de même pour la classification probabiliste correcte avec précision. Il est peu probable qu'un bon sprinter ait des jambes faibles et de même il est peu probable qu'un bon classificateur ait une mauvaise précision. Néanmoins, associer la précision à une bonne performance du classificateur est comme assimiler la force des jambes à une bonne performance de sprint. Pas complètement infondé mais très plausible pour conduire à des résultats absurdes.