ImageNet: que signifie l'erreur des cinq premiers?

9

L'une des méthodes d'évaluation pour ImageNet Competition (classer 1 000 catégories d'images) est l'erreur du top 5, qu'est-ce que cela signifie?

Voir: http://www.image-net.org/challenges/LSVRC/

machine-learning classification computer-vision

— RockTheStar
source

8

L'erreur Top-5, également connue sous le nom d'erreur Rank-5, est simplement une instanciation de la métrique d'erreur Rank-N avec . $(N=5)$

L' erreur de rang est la fraction des échantillons de test où la bonne étiquette n'apparaît pas dans les premiers résultats prévus du modèle lorsque les résultats sont triés par ordre de confiance décroissant, ou . $N$ $x_i$ $y_i$ $N$ $P(y_i|x_i)$

Dans ILSVRC 2014 , la métrique d'erreur pour la classification était:

e = \frac{1}{n} \cdot \sum_{k} min_{i} d (c_{i}, C_{k})

$e = \tfrac{1}{n} \cdot \sum_k \min_{i} d(c_i, C_k)$

où

d (a, b) = {\begin{cases} 0 & if a = b \\ 1 & otherwise \end{cases}

$d(a, b) = \begin{cases} 0 & \text{if } a = b \\ 1 & \text{otherwise} \end{cases}$

$c_i$ est l'étiquette prédite et est l'étiquette de vérité fondamentale. Il existe étiquettes possibles avec . $C_k$ $n$ $k=1, ..., n$

— sabalaba
source

Génial! Une précision, que signifient c et C majuscule?

— RockTheStar

Ici, le grand C est l'une des étiquettes de vérité fondamentale et le petit c est l'une des étiquettes prédites.

— sabalaba

1

sabalaba - pourriez-vous ajouter cette information à votre réponse?

— Glen_b -Reinstate Monica

3

le taux d'erreur du top 5 (d'un modèle) est la fraction des images de test pour lesquelles l'étiquette correcte ne fait pas partie des cinq étiquettes considérées comme les plus probables par le modèle [ 1 ]

— Debvrat Varshney
source

1

Je pense que l'évaluation conditionnelle de devrait se lire: , si apparaît dans les N premières classifications probables pour une classe de vérité terrain Bk donnée. = 1, si ce n'est pas le cas. $d(A_i, B_k)$ $d(Ai, Bk) = 0$ $A_i$

Ici, k prend les valeurs 0 à N-1. Où N est le nombre de classes. Pour chaque , il existe classifications probables, où i prend des valeurs [0, N-1] $B_k$ $A_i$

— RM Nair
source