Qu'est-ce qu'une bonne ASC pour une courbe de rappel de précision?

11

Parce que j'ai un ensemble de données très déséquilibré (9% de résultats positifs), j'ai décidé qu'une courbe de rappel de précision était plus appropriée qu'une courbe ROC. J'ai obtenu la mesure sommaire analogue de l'aire sous la courbe PR (.49, si vous êtes intéressé), mais je ne sais pas comment l'interpréter. J'ai entendu dire que .8 ou plus est ce qu'est une bonne AUC pour ROC, mais les seuils généraux seraient-ils les mêmes pour l'AUC pour une courbe de rappel de précision?

classification precision-recall auc

— user52568
source

12

Il n'y a pas de coupure magique pour AUC-ROC ou AUC-PR. Plus haut est évidemment meilleur, mais cela dépend entièrement de l'application.

Par exemple, si vous pouviez identifier avec succès des investissements rentables avec un ASC de 0,8 ou, d'ailleurs, quelque chose qui se distingue du hasard, je serais très impressionné et vous seriez très riche. D'un autre côté, la classification des chiffres manuscrits avec une AUC de 0,95 est toujours sensiblement inférieure à l'état actuel de la technique.

De plus, alors que la meilleure AUC-ROC possible est garantie d'être dans [0,1], cela n'est pas vrai pour les courbes de rappel de précision car il peut y avoir des zones "inaccessibles" de l'espace PR, selon la façon dont les distributions de classe sont asymétriques. (Voir cet article de Boyd et al (2012) pour plus de détails).

— Matt Krause
source

Je pensais qu'il y avait également des parties inaccessibles de l'AUC. Mais pourrait se tromper.

— charles

4

L'article que j'ai lié dit "Une distinction liée, mais non reconnue auparavant, entre les deux types de courbes est que, bien que tout point dans l'espace ROC soit réalisable, tous les points dans l'espace PR ne sont pas réalisables." en haut de la page 2. Je pense que c'est parce que vous devez classer tous les documents de votre collection pour P / R, donc même le système le plus pessimiste finira par récupérer un élément pertinent. Pour ROC cependant, vous pouvez appeler tous les exemples positifs "-" et tous les exemples négatifs "+", ce qui vous donnerait un taux de 100% de faux positifs / 100% de faux négatifs.

— Matt Krause

Merci! J'aurais dû regarder le papier avant de commenter.

— charles

Je suis d'accord qu'il n'y a pas de nombre magique. Cependant, il est certainement utile de comprendre qu'un 0,95 AUC-ROC, par exemple, signifie que vous avez essentiellement résolu le problème et que vous avez un très, très bon classificateur. Alors qu'une ASC de 0,6 pour trouver des investissements rentables pourrait être, à proprement parler, meilleure que aléatoire, mais pas beaucoup mieux. Cela dit, comme vous l'avez mentionné, il serait toujours soi-disant distinct du hasard et pourrait bien vous donner une bonne stratégie.

— shiri

0

.49 n'est pas génial, mais son interprétation est différente de celle du ROC AUC. Pour ROC AUC, si vous avez obtenu un .49 en utilisant un modèle de régression logistique, je dirais que vous ne faites pas mieux que le hasard. Pour .49 PR AUC, cependant, ce n'est peut-être pas si mal. Je considérerais la précision individuelle et le rappel, peut-être que l'un ou l'autre est ce qui fait baisser votre PR AUC. Rappel vous dira quelle proportion de cette classe positive de 9% vous devinez réellement. La précision vous dira combien vous en avez deviné positif. (Faux positifs). Un rappel de 50% serait mauvais, ce qui signifie que vous ne devinez pas beaucoup de votre classe déséquilibrée, mais peut-être qu'une précision de 50% ne serait pas mauvaise. Cela dépend de votre situation.

— David
source

0

Un estimateur aléatoire aurait un PR-AUC de 0,09 dans votre cas (9% de résultats positifs), donc votre 0,49 est certainement une augmentation substantielle.

Si c'est un bon résultat, cela ne peut être évalué que par rapport à d'autres algorithmes, mais vous n'avez pas donné de détails sur la méthode / les données que vous avez utilisées.

En outre, vous souhaiterez peut-être évaluer la forme de votre courbe PR. Une courbe PR idéale va du coin supérieur droit horizontalement au coin droit et directement vers le coin inférieur droit, ce qui donne une PR-AUC de 1. Dans certaines applications, la courbe PR montre à la place une forte pointe au début pour rapidement redescendez près de la "ligne d'estimation aléatoire" (la ligne horizontale avec une précision de 0,09 dans votre cas). Cela indiquerait une bonne détection des résultats positifs "forts", mais une mauvaise performance sur les candidats moins clairs.

Si vous souhaitez trouver un bon seuil pour le paramètre de coupure de votre algorithme, vous pouvez considérer le point de la courbe PR le plus proche du coin supérieur droit. Ou encore mieux, envisagez la validation croisée si possible. Vous pouvez obtenir des valeurs de précision et de rappel pour un paramètre de coupure spécifique qui sont plus intéressantes pour votre application que la valeur du PR-AUC. Les AUC sont les plus intéressantes lorsque l'on compare différents algorithmes.

— Edgar
source