ImageNet: quel est le taux d’erreur top-1 et top-5?

Dans les documents de classification d'ImageNet, les taux d'erreur parmi les premiers et les cinq premiers sont des unités importantes pour mesurer le succès de certaines solutions, mais quels sont ces taux d'erreur?

Dans la classification ImageNet avec les réseaux de neurones à convolution profonde de Krizhevsky et al. chaque solution basée sur un seul CNN (page 7) n'a pas de taux d'erreur parmi les 5 premiers alors que celles avec 5 et 7 CNN ont (et le taux d'erreur pour 7 CNN est également supérieur à celui pour 5 CNN).

Cela signifie-t-il que le taux d'erreur le plus élevé est le meilleur taux d'erreur simple pour un seul CNN?

Le taux d'erreur parmi les cinq premiers est-il simplement le taux d'erreur accumulé de cinq CNN?

[...] où le taux d'erreur parmi les cinq premiers est la fraction d'images test pour lesquelles l'étiquette correcte ne figure pas parmi les cinq étiquettes considérées les plus probables par le mode.

$\sum p_{class} = 1$

Maintenant, dans le cas du premier score, vous vérifiez si la classe supérieure (celle qui présente la probabilité la plus élevée) est identique à l’étiquette cible.

Dans le cas des 5 meilleurs scores, vous vérifiez si l’étiquette cible est l’une de vos 5 principales prédictions (les 5 avec les probabilités les plus élevées).

Dans les deux cas, le score le plus élevé est calculé en multipliant le nombre de fois qu'une étiquette prédite correspond à l'étiquette cible, divisé par le nombre de points de données évalués.

Enfin, lorsque vous utilisez 5-CNN, vous devez d’abord faire la moyenne de leurs prédictions et suivre la même procédure pour calculer les scores du top 1 et du top 5.

Votre classificateur vous donne une probabilité pour chaque classe. Disons que nous n'avions que les classes "chat", "chien", "maison", "souris" (dans cet ordre). Ensuite, le classificateur donne quelque chose comme

0.1; 0.2; 0.0; 0.7

Par conséquent. La classe Top-1 est "souris". Les 2 premières classes sont {mouse, dog}. Si la classe correcte était "chien", elle serait considérée comme "correcte" pour la précision Top-2, mais non correcte pour la précision Top-1.

Par conséquent, dans un problème de classification avec $k$ classes possibles, chaque classificateur a 100% de$k$précision. La précision "normale" est top-1.