Choisir parmi les règles de notation appropriées

La plupart des ressources sur les règles de notation appropriées mentionnent un certain nombre de règles de notation différentes comme la perte de journal, le score de Brier ou la notation sphérique. Cependant, ils ne donnent souvent pas beaucoup d'indications sur les différences entre eux. (Pièce A: Wikipedia .)

Choisir le modèle qui maximise le score logarithmique correspond à choisir le modèle de maximum de vraisemblance, ce qui semble être un bon argument pour utiliser la notation logarithmique. Existe-t-il des justifications similaires pour la notation Brier ou sphérique, ou d'autres règles de notation? Pourquoi quelqu'un utiliserait-il l'un de ces éléments plutôt que la notation logarithmique?

— Ben Kuhn
source

Quelques indices sont dans la nomenclature. Le «coût fonctionnel» provient de l'optimisation ou de l'ingénierie d'un système de contrôle optimal. Il n'y a pas de "meilleur". Avoir un «bien» signifie que vous devez avoir une certaine mesure de bonté. Il existe un nombre infini de familles de mesures de bonté. Un exemple trivial est: quel est le meilleur chemin? Si vous marchez vers votre exécution, rendez-la longue et agréable. Si vous allez à votre métal Fields, faites-le le plus court. L'expertise du système vous aide à sélectionner la mesure de la bonté. Lorsque vous avez la mesure de la bonté, alors vous pouvez trouver "le meilleur".

— EngrStudent

Vous pouvez être intéressé par Merkle & Steyvers, "Choisir une règle de notation strictement appropriée" (2013, Decision Analysis ) .

— S.Kolassa - Rétablir Monica

J'ai pris la liberté d'éditer le titre pour le rendre plus précis / informatif. Si je l'ai mal interprété, désolé et n'hésitez pas à revenir sur le changement.

— Richard Hardy

Pourquoi quelqu'un utiliserait-il l'un de ces éléments plutôt que la notation logarithmique?

Donc, idéalement, nous distinguons toujours l' ajustement d'un modèle de la prise de décision . Dans la méthodologie bayésienne, la notation et la sélection des modèles doivent toujours être effectuées en utilisant la vraisemblance marginale . Vous utilisez ensuite le modèle pour faire des prédictions probabilistes, et votre fonction de perte vous indique comment agir sur ces prédictions.

Malheureusement dans le monde réel, les performances de calcul dictent souvent que nous confondons la sélection de modèle et la prise de décision et utilisons donc une fonction de perte pour s'adapter à nos modèles. C'est là que la subjectivité dans la sélection des modèles se glisse, car vous devez deviner combien différents types d'erreur vous coûteront. L'exemple classique est un diagnostic de cancer: surestimer la probabilité de cancer d'une personne n'est pas bon, mais la sous-estimer est bien pire.

En passant, si vous cherchez des conseils sur la façon de choisir une règle de notation, vous voudrez peut-être également chercher des conseils sur le choix d'une fonction de perte ou la conception d'une fonction d'utilité, car je pense que la littérature sur ces deux sujets est beaucoup plus volumineux.

— Andy Jones
source

1) Êtes-vous en train de dire que la notation Brier est essentiellement une "fonction de perte déguisée" - c'est-à-dire, même si elle se présente comme une règle de notation / comparaison indépendante de la fonction utilitaire, elle est en fait utilisée parce que les gens ont des préférences spécifiques sur les types de les erreurs du modèle?

— Ben Kuhn

2) Avez-vous des exemples spécifiques de paramètres dans lesquels quelqu'un pourrait choisir la notation Brier ou sphérique plutôt que la notation logarithmique (= probabilité marginale, si je comprends bien) pour ces raisons?

— Ben Kuhn

3) Pourquoi serait-il préférable d'intégrer vos hypothèses de perte / fonction d'utilité dans le modèle que de s'adapter à la vraisemblance marginale et d'utiliser votre fonction de perte / utilité lors de la prise de décision? Il semble que pour les algorithmes d'apprentissage idéaux, il ne devrait y avoir aucun écart entre ceux-ci.

— Ben Kuhn

1) Oui. 2) Pas personnellement, non. Les règles de notation ne sont pas «à la mode» dans le morceau de ML dans lequel je travaille. Ayant un rapide coup d'œil sur Scholar , il semble qu'elles soient un peu datées en général. Ce document semble cependant être intéressant pour vous. 3) Par performance, j'entendais «performance informatique», et non «performance prédictive».

— Andy Jones