Fonction objective, fonction de coût, fonction de perte: est-ce la même chose?

Dans l'apprentissage automatique, les gens parlent de fonction objective, de fonction de coût, de fonction de perte. Sont-ils juste des noms différents de la même chose? Quand les utiliser? S'ils ne font pas toujours référence à la même chose, quelles sont les différences?

Ce ne sont pas des termes très stricts et ils sont très liés. Pourtant:

• La fonction de perte est généralement une fonction définie sur un point de données, une prédiction et une étiquette, et mesure la pénalité. Par exemple:
  • perte carrée , utilisée dans la régression linéaire$l(f(x_i|\theta),y_i) = \left (f(x_i|\theta)-y_i \right )^2$
  • perte de charnière , utilisée dans SVM$l(f(x_i|\theta), y_i) = \max(0, 1-f(x_i|\theta)y_i)$
  • 0/1 perte , utilisée dans l'analyse théorique et la définition de la précision$l(f(x_i|\theta), y_i) = 1 \iff f(x_i|\theta) \neq y_i$
• La fonction de coût est généralement plus générale. Cela pourrait être une somme de fonctions de perte sur votre ensemble d'entraînement plus une pénalité de complexité de modèle (régularisation). Par exemple:
  • Erreur moyenne$MSE(\theta) = \frac{1}{N} \sum_{i=1}^N \left (f(x_i|\theta)-y_i \right )^2$
  • Fonction de coût (des contraintes supplémentaires relient à et à un jeu d'apprentissage)ξ i$SVM(\theta) = \|\theta\|^2 + C \sum_{i=1}^N \xi_i$$\xi_i$$C$
• La fonction objectif est le terme le plus général pour toute fonction que vous optimisez pendant l'entraînement. Par exemple, une probabilité de générer un ensemble de formations dans l'approche du maximum de vraisemblance est une fonction objective bien définie, mais il ne s'agit ni d'une fonction de perte ni d'une fonction de coût (vous pouvez cependant définir une fonction de coût équivalente). Par exemple:
  • MLE est un type de fonction objectif (que vous maximisez)
  • La divergence entre les classes peut être une fonction objective, mais il s’agit à peine d’une fonction de coût, sauf si vous définissez quelque chose d’art artificiel, tel que 1-Divergence, et nommez-le un coût.

Longue histoire courte, je dirais que:

Une fonction de perte est une partie d' une fonction de coût qui est un type de fonction objectif.

Selon le professeur Andrew Ng (voir diapositives page 11),

La fonction h (X) représente votre hypothèse. Pour les paramètres d'ajustement fixes thêta, c'est une fonction des caractéristiques X. Je dirais que cela peut aussi s'appeler la fonction objectif.

La fonction Cost J est fonction des paramètres d’ajustement thêta. J = J (thêta).

Selon le manuel de Hastie et al. "Elements of Statistical Learning" , p.37:

"Nous recherchons une fonction f (X) pour prédire Y à partir des valeurs de l'entrée X." [...] la fonction de perte L (Y, f (X)) est "une fonction pour pénaliser les erreurs de prédiction",

Il semble donc que "fonction de perte" est un terme légèrement plus général que "fonction de coût". Si vous recherchez "perte" dans ce fichier PDF, je pense qu'ils utilisent "fonction de coût" et "fonction de perte" un peu comme un synonyme.

En effet, p. 502

"La situation [en clustering] est quelque peu similaire à la spécification d'une fonction de perte ou de coût dans les problèmes de prédiction (apprentissage supervisé)".

Peut-être que ces termes existent parce qu'ils ont évolué indépendamment dans différentes communautés académiques. "Fonction objectif" est un ancien terme utilisé dans la recherche opérationnelle et les mathématiques d'ingénierie. La "fonction de perte" pourrait être plus utilisée par les statisticiens. Mais je spécule ici.

Dans les mots d'Andrew NG-

"Enfin, la fonction de perte a été définie par rapport à un seul exemple de formation. Elle mesure votre performance sur un seul exemple de formation. Je vais maintenant définir ce que l’on appelle la fonction de coût, qui mesure donc, la fonction de coût J qui est appliquée à vos paramètres W et B sera la moyenne avec l’un des m de la somme de la fonction de perte appliquée à chacun des exemples d’entraînement et tour. "

De la section 4.3 dans "Apprendre en profondeur" - Ian Goodfellow, Yoshua Bengio et Aaron Courville http://www.deeplearningbook.org/

"La fonction que nous voulons minimiser ou maximiser est appelée fonction objectif ou critère. Lorsque nous la minimisons, nous pouvons également l'appeler fonction de coût, fonction de perte ou fonction d'erreur. Dans le présent ouvrage, nous utilisons ces termes de manière interchangeable. bien que certaines publications d’apprentissage automatique attribuent une signification particulière à certains de ces termes. "

Dans ce livre, au moins, les pertes et les coûts sont les mêmes.

Pour vous donner une réponse courte, selon moi, ils sont synonymes. Cependant, la fonction de coût est davantage utilisée dans le problème d'optimisation et la fonction de perte dans l'estimation de paramètre.

Les termes fonctions de coût et de perte sont synonymes, certaines personnes l'appellent également fonction d'erreur. Le scénario plus général consiste à définir d’abord une fonction objectif que nous souhaitons optimiser. Cette fonction objectif pourrait être de

1. maximiser les probabilités postérieures (par exemple, Bayes naïf)
2. maximiser une fonction de fitness (programmation génétique)
3. maximiser la fonction récompense / valeur totale (apprentissage par renforcement)
4. maximiser le gain d'information / minimiser les impuretés des noeuds enfant (classification de l'arbre de décision CART) 5.minimaliser une fonction de coût (ou perte) d'erreur carré (CART, régression de l'arbre de décision, régression linéaire, neurones linéaires adaptatifs,…)
5. maximiser la log-vraisemblance ou minimiser la perte (ou le coût) d'entropie croisée minimiser la perte de charnière (machine à vecteurs de support)

En fait, pour être simple Si vous avez m données de formation comme ceci (x (1), y (1)), (x (2), y (2)),. . . (x (m), y (m)) Nous utilisons la fonction de perte L (ycap, y) pour rechercher une perte entre ycap et y d’un seul ensemble d’entraînement. Si nous voulons rechercher une perte entre ycap et y d’un ensemble complet d’entraînement, nous utilisons fonction de coût.

Remarque: - ycap correspond à la sortie de notre modèle et y à la sortie attendue

Remarque: - Le crédit va à la ressource: réseau de neurones de coursera et apprentissage en profondeur

La fonction de perte calcule l'erreur pour un seul exemple d'apprentissage, tandis que la fonction de coût est la moyenne des fonctions de perte de l'ensemble d'apprentissage.