Dans le contexte d'un modèle prédictif ou inférentiel, le terme "erreur" se réfère généralement à l'écart d'une valeur réelle par rapport à une prédiction ou à une attente de cette valeur. Elle est entièrement déterminée par le mécanisme de prédiction et le comportement réel des quantités sous observation. La «perte» est une mesure quantifiée de la gravité d'une erreur d'une taille / direction particulière, qui est affectée par les conséquences négatives qui découlent d'une prédiction inexacte.
Une fonction d'erreur mesure l'écart d'une valeur observable par rapport à une prédiction, tandis qu'une fonction de perte opère sur l'erreur pour quantifier la conséquence négative d'une erreur. Par exemple, dans certains contextes, il pourrait être raisonnable de supposer qu'il y a une perte d'erreur au carré , où la conséquence négative d'une erreur est quantifiée comme étant proportionnelle au carré de l'erreur. Dans d'autres contextes, nous pourrions être plus négativement affectés par une erreur dans une direction particulière (par exemple, faux positif contre faux négatif) et, par conséquent, nous pourrions adopter une fonction de perte non symétrique.
La fonction d'erreur est un objet purement statistique, tandis que la fonction de perte est un objet théorique de décision que nous apportons pour quantifier les conséquences négatives de l'erreur. Ce dernier est utilisé en théorie de la décision et en économie (généralement par son contraire - une fonction d'utilité cardinale).
Un exemple: vous êtes un racket criminel qui dirige un salon de paris illégal pour la foule. Chaque semaine, vous devez payer 50% des bénéfices au patron de Mob, mais puisque vous gérez le lieu, le patron compte sur vous pour donner une véritable comptabilité des bénéfices. Si vous avez une bonne semaine, vous pourriez le tirer de la pâte en sous-représentant votre profit, mais si vous sous-payez le patron, par rapport à ce qu'il soupçonne être le vrai profit, vous êtes un homme mort. Vous voulez donc prédire combien il s'attend à recevoir et payer en conséquence. Idéalement, vous lui donnerez exactement ce à quoi il s'attend et garderez le reste, mais vous pourriez potentiellement faire une erreur de prédiction et le payer trop ou (ouais!) Trop peu.
Vous avez une bonne semaine et gagnez de profit, donc le patron doit . Il ne sait pas quelle bonne semaine vous avez eue, donc sa véritable attente de sa part n'est que de (à votre insu). Vous décidez de lui payer . Alors votre fonction d'erreur est:π=$40,00012π=$20,000θ=$15,000θ^
Error(θ^,θ)=θ^−θ,
et (si nous supposons que la perte est linéaire en argent) votre fonction de perte est:
Loss(θ^,θ)={∞θ^−πif θ^<θ(sleep wit' da fishes)if θ^⩾θ(live to spend another week)
Ceci est un exemple d'une fonction de perte asymétrique (solution discutée dans les commentaires ci-dessous) qui diffère sensiblement de la fonction d'erreur. La nature asymétrique de la fonction de perte dans ce cas souligne le résultat catastrophique dans le cas où il y a sous-estimation du paramètre inconnu.