Évaluation des classificateurs: courbes d'apprentissage vs courbes ROC

Je voudrais comparer 2 classificateurs différents pour un problème de classification de texte multiclasse qui utilise de grands ensembles de données d'apprentissage. Je doute que je devrais utiliser des courbes ROC ou des courbes d'apprentissage pour comparer les 2 classificateurs.

D'une part, les courbes d'apprentissage sont utiles pour décider de la taille de l'ensemble de données d'apprentissage, car vous pouvez trouver la taille de l'ensemble de données auquel le classificateur cesse d'apprendre (et peut-être se dégrade). Ainsi, le meilleur classificateur dans ce cas peut être celui qui atteint la plus grande précision avec la plus petite taille de jeu de données.

D'un autre côté, les courbes ROC vous permettent de trouver un point avec le bon compromis entre sensibilité / spécificité. Le meilleur classificateur dans ce cas est juste celui le plus proche de la partie supérieure gauche, avec le TPR le plus élevé pour tout FPR.

Dois-je utiliser les deux méthodes d'évaluation? Est-il possible pour une méthode avec une meilleure courbe d'apprentissage d'avoir une courbe ROC pire, et vice-versa?

La courbe d'apprentissage n'est qu'un outil de diagnostic, vous indiquant à quelle vitesse votre modèle apprend et si toute votre analyse n'est pas coincée dans une zone excentrique de trop petits ensembles / trop petit ensemble (le cas échéant). La seule partie de ce graphique qui est intéressante pour l'évaluation du modèle est la fin de celui-ci, c'est-à-dire la performance finale - mais cela n'a pas besoin d'un graphique pour être rapporté.
La sélection d'un modèle basé sur une courbe d'apprentissage telle que vous l'avez esquissée dans votre question est plutôt une mauvaise idée, car vous êtes susceptible de sélectionner un modèle qui convient le mieux à un sur-ajustement sur un jeu d'échantillons trop petit.

À propos des ROC ... La courbe ROC est une méthode pour évaluer les modèles binaires qui produisent un score de confiance qu'un objet appartient à une classe; éventuellement aussi pour leur trouver les meilleurs seuils pour les convertir en classificateurs réels.
Ce que vous décrivez est plutôt une idée pour tracer les performances de vos classificateurs en tant que nuage de points de TPR / FPR dans l' espace ROC et utiliser le critère le plus proche du coin supérieur gauche pour sélectionner ce qui est le mieux équilibré entre la génération de fausses alarmes et les échecs - - cet objectif particulier peut être atteint de manière plus élégante en sélectionnant simplement le modèle avec le meilleur score F (moyenne harmonique de précision et de rappel).