J'essaie d'avoir une perspective globale sur certaines des idées essentielles de l'apprentissage automatique, et je me demandais s'il existe un traitement complet des différentes notions de perte (carré, logarithme, charnière, proxy, etc.). Je pensais à quelque chose dans le sens d'une présentation plus complète et formelle de l'excellent article de John Langford sur la sémantique de la fonction de perte .
Réponses:
Le didacticiel sur l'apprentissage basé sur l'énergie de LeCun et al. pourrait vous obtenir une bonne partie du chemin. Ils décrivent un certain nombre de fonctions de perte et discutent de ce qui les rend «bonnes ou mauvaises» pour les modèles basés sur l'énergie.
La fonction de perte est donnée par le problème. Ça pourrait être n'importe quoi. Par exemple, vous pouvez également pénaliser le temps et l'espace processeur utilisés.
Dans l'apprentissage par renforcement, la fonction de perte est une fonction non déterministe inconnue. Vous ne pouvez pas le redéfinir sans changer le problème.
Je sais que cette question est un peu datée, mais c'est quelque chose qui m'intéresse actuellement.
Un très bon article sur le thème des fonctions de perte convexe et de la cohérence du classificateur est " Comportement statistique et cohérence des méthodes de classification basées sur la minimisation des risques convexes " par Tong Zhang.