0-1 Explication de la fonction de perte

19

J'essaie de comprendre quel est le but de la fonction de perte et je ne comprends pas très bien.

Donc, pour autant que je sache, la fonction de perte consiste à introduire une sorte de métrique avec laquelle nous pouvons mesurer le "coût" d'une décision incorrecte.

Disons que j'ai un ensemble de données de 30 objets, je les ai divisés en ensembles de formation / test comme 20/10. J'utiliserai la fonction de perte 0-1, alors disons que mon ensemble d'étiquettes de classe est M et que la fonction ressemble à ceci :

L (je, j) = {\begin{cases} 0 je = j \\ 1 je \neq j \end{cases} je, j \in M

$L(i, j) = \begin{cases} 0 \qquad i = j \\ 1 \qquad i \ne j \end{cases} \qquad i,j \in M$

J'ai donc construit un modèle sur mes données d'entraînement, disons que j'utilise le classificateur Naive Bayes, et ce modèle a classé correctement 7 objets (en leur attribuant les étiquettes de classe correctes) et 3 objets ont été classés incorrectement.

Donc, ma fonction de perte retournerait "0" 7 fois et "1" 3 fois - quel genre d'informations puis-je obtenir de cela? Que mon modèle a classé incorrectement 30% des objets? Ou y a-t-il plus?

S'il y a des erreurs dans ma façon de penser, je suis vraiment désolé, j'essaie juste d'apprendre. Si l'exemple que j'ai donné est "trop abstrait", faites-le moi savoir, je vais essayer d'être plus précis. Si vous essayez d'expliquer le concept à l'aide d'un exemple différent, veuillez utiliser la fonction de perte 0-1.

machine-learning loss-functions

— Johnny Johansson
source

14

Vous avez correctement résumé la fonction de perte 0-1 en examinant efficacement la précision. Vos 1 deviennent des indicateurs pour les articles mal classés, quelle que soit la façon dont ils ont été mal classés. Étant donné que vous disposez de trois 1 sur 10, votre précision de classification est de 70%.

Si vous modifiez la pondération de la fonction de perte, cette interprétation ne s'applique plus. Par exemple, dans la classification des maladies, il pourrait être plus coûteux de rater un cas positif de maladie (faux négatif) que de diagnostiquer faussement une maladie (faux positif). Dans ce cas, votre fonction de perte pèserait plus lourdement sur les fausses classifications négatives. La somme de vos pertes ne représenterait plus la précision dans ce cas, mais plutôt le «coût» total de la mauvaise classification. La fonction de perte 0-1 est unique dans son équivalence à la précision, car tout ce qui vous intéresse est de savoir si vous avez bien fait les choses ou non et comment les erreurs sont commises.

— Nuclear Wang
source

@JohnnyJohansson qui est la définition de la précision dans les statistiques, voir en.wikipedia.org/wiki/Sensitivity_and_specificity

— Tim

@Tim - Je suis toujours confus par la fonction de perte 0-1 - la matrice résultante pourrait-elle avoir des valeurs supérieures à 1, c'est-à-dire que s'il y a 3 classifications manquantes, nous verrions une valeur de 3 dans l'entrée correspondante? voir ici math.stackexchange.com/questions/2623072/…

— Xavier Bourret Sicotte

2

Oui, c'est fondamentalement ça: vous comptez le nombre d'articles mal classés. Il n'y a plus rien derrière, c'est une fonction de perte très basique. Ce qui suit, une perte de 0-1 conduit à une estimation du mode de la distribution cible (par rapport à $L_1$ perte pour estimer la médiane et $L_2$ perte pour estimer la moyenne).

— Tim
source

0

Je pense que votre confusion ne fait pas la différence entre la perte d'un point de données et la perte de l'ensemble de données.

Plus précisément, votre $L(y,\hat y)$ est la perte d'un point de données (je modifie un peu la notation). Et la perte pour l'ensemble des données, c'est-à-dire la précision de la classification, doit additionner tous les points de données.

\sum_{je} L (y_{je}, {\hat{y}}_{je})

$\sum_i L(y_i,\hat y_i)$

— Haitao Du
source

J'obtiens réellement la différence, mais il est difficile pour moi de comprendre de quoi aurais-je besoin pour cette perte pour un point de données autre que le calcul de la perte pour l'ensemble de données? Et que dois-je considérer lors du choix d'une fonction de perte adéquate pour un problème particulier?

— Johnny Johansson