Que signifie la notation mAP @ [. 5: .95]?

17

Pour la détection, une façon courante de déterminer si une proposition d'objet était correcte est Intersection over Union (IoU, IU). Cela prend l'ensemble $A$ des pixels d'objet proposés et l'ensemble des pixels d'objet réels $B$ et calcule:

I o U (A, B) = \frac{A \cap B}{A \cup B}

$IoU(A, B) = \frac{A \cap B}{A \cup B}$

Généralement, IoU> 0,5 signifie que c'était un coup, sinon c'était un échec. Pour chaque classe, on peut calculer le

Vrai positif ( $TP(c)$ ): une proposition a été faite pour la classe $c$ et il y avait en fait un objet de la classe $c$
Faux positif ( ): une proposition a été faite pour la classe , mais il n'y a pas d'objet de classe $FP(c)$ $c$ $c$
Précision moyenne pour la classe : $c$ $\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

Le mAP (précision moyenne moyenne) = $\frac{1}{|classes|}\sum_{c \in classes} \frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

Si l'on veut de meilleures propositions, on fait augmenter l'IoU de 0,5 à une valeur plus élevée (jusqu'à 1,0 ce qui serait parfait). On peut le noter avec mAP @ p, où est l'IoU. $p \in (0, 1)$

Mais que signifie mAP@[.5:.95](comme on le trouve dans cet article )?

computer-vision

— Martin Thoma
source

Je soupçonne que la [.5:.95]partie se réfère à une plage de valeurs IoU, mais je ne sais pas comment cette plage est évaluée dans un seul mAP.

— Neil Slater

@NeilSlater Mais pourquoi voudriez-vous une limite supérieure? Un IoU supérieur n'est-il pas toujours mieux?

— Martin Thoma

Il est préférable d'obtenir une correspondance avec un IoU plus élevé, mais la valeur mAP est probablement réduite si nous mesurons dans quelle mesure le modèle décrit les correspondances parfaites (pour n'importe quel modèle), et il n'est pas considéré comme une mesure utile. Je ne sais pas pourquoi il n'est pas inclus dans la plage, mais je ne sais pas comment le mAP est calculé dans ce cas - ce peut être une moyenne simple basée sur des échantillons par exemple.

— Neil Slater

1

Il y a ce dépôt github avec une excellente explication sur IOU , Precision , Recall , Average Precision et mAP . Il a également un code qui évalue tous les détecteurs d'objets. Cela vous aidera certainement les gars : https://github.com/rafaelpadilla/Object-Detection-Metrics

— Rafael Padilla

10

mAP@[.5:.95](quelqu'un noté mAP@[.5,.95]) signifie une MAP moyenne sur différents seuils IoU, de 0,5 à 0,95, étape 0,05 (0,5, 0,55, 0,6, 0,65, 0,7, 0,75, 0,8, 0,85, 0,9, 0,95).

Il existe un défi MS COCO associé à une nouvelle mesure d'évaluation, qui fait la moyenne de la mAP sur différents seuils IoU, de 0,5 à 0,95 (écrit «0,5: 0,95»). [ Réf ]

Nous évaluons la mAP moyenne pour IoU ∈ [0,5: 0,05: 0,95] (métrique standard de COCO, simplement désignée comme mAP @ [. 5, .95]) et mAP@0.5 (métrique PASCAL VOC). [ Réf ]

Pour évaluer nos détections finales, nous utilisons l'API COCO officielle [20], qui mesure la mAP moyenne sur les seuils d'IOU dans [0,5: 0,05: 0,95], entre autres mesures. [ Réf ]

BTW, le code source de coco montre exactement ce qui mAP@[.5:.95]se passe:

self.iouThrs = np.linspace(.5, 0.95, np.round((0.95 - .5) / .05) + 1, endpoint=True)

Les références

https://github.com/pdollar/coco

http://mscoco.org/

https://www.cs.cornell.edu/~sbell/pdf/cvpr2016-ion-bell.pdf

https://arxiv.org/pdf/1506.01497.pdf

https://arxiv.org/pdf/1611.10012.pdf

— Icyblade
source

Ça vous dérange une question? Si, par exemple, nous avons 3 instances d'une certaine classe dans l'ensemble de données et que le modèle renvoie iou de 0,1, 0,6 et 0,9 pour elles, cela signifie-t-il que nous rejetons le résultat 0,1 et le iou moyen de 0,75 et le mAP correspondant?

— Alex

5

$\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

— anhvh
source

Pour ceux qui consultent la référence, la définition de la précision moyenne (AP) se trouve à la page 11.

— Waylon Flinn

3

AP est moyenné sur toutes les catégories. Traditionnellement, cela s'appelle la «précision moyenne moyenne» (mAP). Nous ne faisons aucune distinction entre AP et mAP (et également AR et mAR) et supposons que la différence est claire par rapport au contexte.

http://cocodataset.org/#detections-eval

— Mark Yang
source

Je pensais que mAP est la moyenne des points d'accès en multi-classe. J'aime connaître la définition de votre catégorie / auteur de papier.

— Cloud Cho