Comment tracer les courbes ROC dans la classification multiclass?

En d’autres termes, au lieu d’avoir un problème à deux classes, j’ai plutôt affaire à quatre classes et j’aimerais toujours évaluer les performances en utilisant l’ASC.

Il semble que vous recherchiez une analyse ROC multi-classes, qui est une sorte d'optimisation multi-objectifs décrite dans un tutoriel à ICML'04. Comme dans plusieurs problèmes multi-classes, l’idée est généralement d’effectuer une comparaison par paires (une classe par rapport à toutes les autres classes, une classe par rapport à une autre classe, voir (1) ou les Eléments de l’apprentissage statistique ), et il existe une récente article de Landgrebe et Duin sur ce sujet, Approximation du ROC multiclass par analyse par paire , Pattern Recognition Letters 2007 28: 1747-1758. Maintenant, à des fins de visualisation, j'ai vu des documents il y a quelque temps, dont la plupart tournaient autour du volume sous le diagramme de surface ROC (VUS) ou Cobweb .

Cependant, je ne sais pas s’il existe une implémentation R de ces méthodes, bien que je pense que la stars()fonction pourrait être utilisée pour le tracé de la toile d’araignée. Je viens de croiser une boîte à outils Matlab qui semble offrir une analyse ROC multi-classes, PRSD Studio .

Autres documents pouvant également être utiles comme point de départ pour la visualisation / le calcul:

• Visualisation de surfaces ROC multi-classes
• Une extension simplifiée de la zone sous ROC au domaine multiclass

Références:
1. Allwein, EL, Schapire, RE et Singer, Y. (2000). Réduction de la multiclassification en binaire: approche unificatrice pour les classificateurs de marges. Journal de recherche sur l'apprentissage machine , 1 : 113-141.

J'ai récemment trouvé ce package pROC dans R qui trace un ROC multiclass à l'aide de la technique spécifiée par Hand et Till (2001) . Vous pouvez utiliser la fonction multiclass.roc.

Les réponses ici sont assez complètes, mais je voudrais quand même ajouter mes 5 centimes. Dans cette question, vous trouverez un exemple de code R permettant de produire des courbes ROC à l’aide de l’approche One-Vs-All et de la bibliothèque ROCR .

C'est l'intrigue de cette réponse:

Bien que le calcul me dépasse, cet article de synthèse contient quelques références qui pourraient vous intéresser, ainsi qu'une brève description des graphiques ROC multi-classes.

Une introduction à l'analyse ROC par Tom Fawcett Lettres de reconnaissance de modèles Volume 27, numéro 8, juin 2006, pages 861-874

Lien vers pdf fourni par gd047- merci