Quelles sont les mesures de précision des données multi-étiquettes?

Envisagez un scénario dans lequel vous disposez de la matrice KnownLabel et de la matrice PredictedLabel. Je voudrais mesurer la qualité de la matrice PredictedLabel par rapport à la matrice KnownLabel.

Mais le défi ici est que la matrice de KnownLabel possède peu de lignes, un seul 1 et les autres lignes ont plusieurs 1 (ces instances sont multi-étiquetées). Un exemple de KnownLabel Matrix est donné ci-dessous.

A =[1 0 0 0
    0 1 0 0
    0 1 1 0
    0 0 1 1
    0 1 1 1]

Dans la matrice ci-dessus, les instances de données 1 et 2 sont des données d'étiquette unique, les instances de données 3 et 4 sont deux données d'étiquette et l'instance de données 5 est les trois données d'étiquette.

J'ai maintenant PredictedLabel Matrix d'instance de données utilisant un algorithme.

Je voudrais connaître diverses mesures qui peuvent être utilisées pour mesurer la qualité de la matrice PredictedLabel par rapport à la matrice KnownLabel.

Je peux penser à la différence de norme frobeinus entre eux comme l'une des mesures. Mais je cherche la mesure telle que la précision $(= \frac{\text{Correctly_predicted_instance}}{\text{total_instance}})$

Ici, comment pouvons-nous définir le pour plusieurs instances de données? $\rm Correctly\_predicted$

machine-learning data-mining multilabel

— Apprenant
source

(+1) Sidenote: Y a-t-il une raison spécifique pour laquelle vous n'avez pas accepté de réponse dans la majorité de vos questions? Pourquoi n'avez-vous pas posté de commentaire alors que la réponse fournie n'a pas résolu votre problème? Par exemple: stats.stackexchange.com/questions/9947/…

— steffen

Réponses:

(1) donne un bon aperçu:

La classification multi-étiquettes de la page Wikipedia n contient également une section sur les paramètres d'évaluation.

J'ajouterais un avertissement que dans le paramètre multi-étiquettes, la précision est ambiguë: elle peut se référer soit au rapport de correspondance exact, soit au score de Hamming (voir cet article ). Malheureusement, de nombreux articles utilisent le terme «précision».

(1) Sorower, Mohammad S. " Une étude de la littérature sur les algorithmes pour l'apprentissage multi-labels. " Oregon State University, Corvallis (2010).

— Franck Dernoncourt
source

Ces définitions vont-elles à l'encontre des définitions générales de précision et de rappel? J'ai toujours lu que la précision devrait diviser par TP + FP et le rappel devrait diviser par TP + FN (les définitions proposées ici font le contraire si j'ai bien compris).

— tomasyany

Y_{i} \in Y = {0, 1}^{k}

$Y_i \in \mathcal{Y} = \{0, 1\}^k$

i

$i$

Z_{i} = h (x_{i}) = {0, 1}^{k}

$Z_i = h(\mathbf{x}_i) = \{0, 1\}^k$

h

$h$

Y_{i}

$Y_i$

Z_{i}

$Z_i$

pour la accuracymesure, comment gérez-vous avec élégance les cas où le dénominateur |Y + Z| == 0?

— ihadanny

@tomasyany fait référence aux définitions de texte (pas aux formules), qui semblent être inversées.

— Narfanar

Et cette définition AP ressemble plus à mAP (AP moyen), non? Ce que l'on appelle la «précision» est l'IoU moyen. Les termes sont assez confus dans l'ensemble.

— Narfanar

La perte de Hamming est probablement la fonction de perte la plus largement utilisée dans la classification multi-étiquettes.

Jetez un œil aux études empiriques sur la classification multi-étiquettes et la classification multi-étiquettes: un aperçu , qui en discutent tous les deux.

— tdc
source

Correctly Predictedest l'intersection entre l'ensemble d'étiquettes suggérées et l'ensemble attendu. Total Instancesest l'union des ensembles ci-dessus (pas de nombre de doublons).

Donc, étant donné un seul exemple où vous prédisez des classes A, G, Eet le cas de test a E, A, H, Pcomme bons ceux que vous vous retrouvez avecAccuracy = Intersection{(A,G,E), (E,A,H,P)} / Union{(A,G,E), (E,A,H,P)} = 2 / 5

— Marsellus Wallace
source