J'ai récemment appris les règles de notation appropriées pour les classificateurs probabilistes. Plusieurs discussions sur ce site Web ont mis un point d'honneur à souligner que la précision est une règle de notation incorrecte et ne doit pas être utilisée pour évaluer la qualité des prévisions générées par un modèle probabiliste tel que la régression logistique.

Cependant, un certain nombre d'articles universitaires que j'ai lus ont donné une perte de classification erronée comme exemple d'une règle de notation correcte (non stricte) dans un cadre de classification binaire. L'explication la plus claire que j'ai pu trouver était dans cet article , au bas de la page 7. Pour autant que je sache, minimiser la perte de classification erronée équivaut à maximiser la précision, et les équations du document ont un sens intuitif.

Par exemple: en utilisant la notation du papier, si la vraie probabilité conditionnelle (étant donné un vecteur caractéristique x ) de la classe d'intérêt est η = 0,7, toute prévision q > 0,5 aurait une perte attendue R (η | q ) = 0,7 (0) + 0,3 (1) = 0,3, et tout q 0,5 aurait une perte attendue de 0,7. La fonction de perte serait donc minimisée à q = η = 0,7 et par conséquent propre; la généralisation à l'ensemble des probabilités et prévisions conditionnelles réelles semble assez simple à partir de là.$\leq$

En supposant que les calculs et les déclarations ci-dessus sont corrects, les inconvénients d'un minimum non unique et toutes les prévisions supérieures à 0,5 partageant la même perte minimale attendue sont évidents. Je ne vois toujours aucune raison d'utiliser la précision par rapport aux alternatives traditionnelles telles que le score de log, le score de Brier, etc. Cependant, est-il correct de dire que la précision est une règle de notation appropriée lors de l'évaluation de modèles probabilistes dans un cadre binaire, ou est-ce que je fais un erreur - soit dans ma compréhension de la perte de classification erronée, soit en l'assimilant à la précision?

TL; DR

La précision est une règle de notation incorrecte. Ne l'utilisez pas.

La version légèrement plus longue

En fait, la précision n'est même pas une règle de notation. Donc, demander si c'est (strictement) correct est une erreur de catégorie. Le plus que l'on puisse dire, c'est que sous des hypothèses supplémentaires , la précision est conforme à une règle de notation qui est incorrecte, discontinue et trompeuse. (Ne l'utilisez pas.)

Votre confusion

Votre confusion vient du fait que la perte de classification erronée selon l'article que vous citez n'est pas non plus une règle de notation.

Les détails: règles de notation vs évaluations de classification

$y\in\{0,1\}$$\widehat{q} = \widehat{P}(Y=1)\in(0,1)$$P(Y=1)=\eta>0.5$$\widehat{q}$

$\widehat{q}$$y$

$s$$\widehat{q}=\eta$$s$$\widehat{q}=\eta$

$s$$\widehat{q}_i$$y_i$

$\widehat{y}\in\{0,1\}$

Par conséquent, la précision n'est pas une règle de notation . Il s'agit d'une évaluation de classification. (C'est un terme que je viens d'inventer; n'allez pas le chercher dans la littérature.)

$\widehat{q}$$\widehat{y}$$\theta$

$\theta=0.5$$\widehat{q}_i$$y_i$

$\widehat{q}$$\widehat{q}$$\widehat{y}=\widehat{y}(\widehat{q},\theta)$$\widehat{q}$

$\widehat{q}=\eta$$\theta =0.5$$\widehat{q}\in(0,1)$

$\widehat{y}$$\widehat{q}$

$\widehat{q}\geq\theta$$\theta=0.5$$\widehat{q}=0.99$$\widehat{q}\geq\theta$$\widehat{q}$$\eta$

$\theta =0.2$$y=1$$y=0$$\widehat{q}$$\widehat{q}=0.25$$\widehat{q}\geq\theta$

Par conséquent, la perte de précision ou de mauvaise classification peut être trompeuse.

De plus, la précision et la perte de classification erronée sont inappropriées dans le cadre des hypothèses supplémentaires dans des situations plus complexes où les résultats ne sont pas idi. Frank Harrell, dans son article de blog Damage Caused by Classification Accuracy and Other Discontinuous Improper Accuracy Scoring Rules cite un exemple tiré de l'un de ses livres où l'utilisation de la perte de précision ou de mauvaise classification conduira à un modèle mal spécifié, car ils ne sont pas optimisés par la prédiction conditionnelle correcte probabilité.

$\theta$

Pour plus d'informations, consultez Pourquoi la précision n'est-elle pas la meilleure mesure pour évaluer les modèles de classification? .

L'essentiel

N'utilisez pas la précision. Ni perte de classification erronée.

Le nitpick: "strict" vs "strictement"

Faut-il parler de règles de notation «strictes» ou de règles de notation «strictement»? "Strict" modifie "propre", pas "règle de notation". (Il existe des "règles de notation appropriées" et des "règles de notation strictement appropriées", mais pas de "règles de notation strictes".) En tant que tel, "strictement" doit être un adverbe, pas un adjectif, et "strictement" doit être utilisé. Comme cela est plus courant dans la littérature, par exemple, les articles de Tilmann Gneiting.