Donné
- un ensemble de données avec des instances avec classes où chaque instance appartient exactement à une classe N x i y i
- un classificateur multiclasse
Après la formation et les tests, j'ai essentiellement une table avec la vraie classe et la classe prédite pour chaque instance dans l'ensemble de test. Donc, pour chaque instance, j'ai soit une correspondance ( ), soit un ( ).a i x i y i = a i y i i ≠ a i
Comment puis-je évaluer la qualité du match? Le problème est que certaines classes peuvent avoir de nombreux membres, c'est-à-dire que de nombreuses instances lui appartiennent. Évidemment, si 50% de tous les points de données appartiennent à une classe et que mon classificateur final est globalement correct à 50%, je n'ai rien gagné. J'aurais tout aussi bien pu faire un classifieur trivial qui produit la plus grande classe, quelle que soit l'entrée.
Existe-t-il une méthode standard pour estimer la qualité d'un classifieur sur la base des résultats connus des ensembles de tests des correspondances et des hits pour chaque classe? Peut-être est-il même important de distinguer les taux de correspondance pour chaque classe particulière?
L'approche la plus simple à laquelle je peux penser est d'exclure les correspondances correctes de la plus grande classe. Quoi d'autre?