La probabilité prédite de régression logistique peut-elle être interprétée comme la confiance dans la classification

12

Pouvons-nous interpréter la probabilité a posteriori obtenue à partir d'un classificateur qui génère une valeur de classe prédite et une probabilité (par exemple, régression logistique ou Naive Bayes) comme une sorte de score de confiance attribué à cette valeur de classe prédite?

probability logistic naive-bayes

— mel
source

8

Comme d'autres réponses l'indiquent correctement, les probabilités déclarées à partir de modèles tels que la régression logistique et les Bayes naïfs sont des estimations de la probabilité de classe. Si le modèle était vrai, la probabilité serait en effet la probabilité d'une classification correcte.

Cependant, il est assez important de comprendre que cela pourrait être trompeur car le modèle est estimé et donc pas un modèle correct. Il y a au moins trois problèmes.

Incertitude des estimations.
Erreur de spécification du modèle.
Biais.

L' incertitude n'est que le fait partout présent que la probabilité n'est qu'une estimation. Un intervalle de confiance de la probabilité de classe estimée pourrait donner une idée de l'incertitude (de la probabilité de classe, pas de la classification).

Si le modèle est erroné et face à lui, il l'est les probabilités de classe peuvent être assez trompeuses même si les prédictions de classe sont bonnes. La régression logistique peut fausser les probabilités de classe pour deux classes assez bien séparées si certains points de données sont un peu extrêmes. Il pourrait encore faire du bon travail en termes de classification. $-$ $-$

Si la procédure d'estimation (intentionnellement) fournit une estimation biaisée , les probabilités de classe sont erronées. C'est quelque chose que je vois avec les méthodes de régularisation comme le lasso et la crête pour la régression logistique. Si un choix de régularisation croisé conduit à un modèle performant en termes de classification, les probabilités de classe qui en résultent sont clairement sous-estimées (trop proches de 0,5) sur les cas de test. Ce n'est pas nécessairement mauvais, mais il est important d'en être conscient.

— NRH
source

2

Pour un cas de test (entrée particulière), sa probabilité prédictive de classe (disons l'étiquette 1 pour la sortie binaire) est la chance que l'exemple de test appartient à cette classe. Dans de nombreux cas de test de ce type, la proportion appartenant à la classe 1 tendra à la probabilité prédictive. La confiance a des connotations d'intervalles de confiance, qui sont quelque chose de très différent.

— Yoda
source

1

Si un classificateur prédit une certaine classe avec une probabilité, ce nombre peut être utilisé comme indicateur du degré de confiance dans cette classification. À ne pas confondre avec les intervalles de confiance. Par exemple, si le classificateur P prédit deux cas comme +1 et -1 avec une probabilité de 80% et 60%, alors il est correct de dire qu'il est plus sûr de la classification +1 que de la classification -1. La variance mesurée par p (1-p) est également une bonne mesure de l'incertitude. Notez que la confiance de base est de 50% et non de 0.

— brocoli
source

1

Étant donné un classificateur à 2 classes (par exemple un discriminant linéaire à 2 classes ou un classificateur à régression logistique), la valeur discriminante pour les deux classes peut être appliquée à une fonction softmax pour produire une estimation de la probabilité postérieure pour cette classe:

P1 = exp (d1) / (exp (d1) + exp (d2))

Où P1 est l'estimation de probabilité postérieure pour la classe 1, d1 et d2 sont des valeurs discriminantes pour les classes 1 et 2 respectivement. Dans ce cas, la probabilité postérieure estimée pour une classe donnée peut être considérée comme un degré de confiance dans la classe, pour un cas donné car P1 sera égal à 1 - P2.

— BGreene
source

1

Cette réponse semble assimiler «probabilité» à «confiance» alors que la réponse de @ Yoda (correctement) distingue les deux.

— whuber

@whuber Je pense qu'en termes généraux, la confiance peut être considérée comme une force de croyance. De cette façon, c'est comme une probabilité. La confiance et l'intervalle de confiance sont deux choses différentes. Cependant, même pour le terme intervalle de confiance, le niveau de confiance est une probabilité de couverture pour l'intervalle aléatoire.

— Michael R. Chernick

Je ne suis pas en désaccord avec vos remarques, @Michael, dans le sens où un terme comme "score de confiance" pourrait signifier presque n'importe quoi (mais peut-être que son utilisation devrait être déconseillée pour exactement cette raison). Mais dans quel sens la valeur ajustée par régression logistique est-elle une "probabilité de couverture"? Votre utilisation proposée de la «confiance» comme force de croyance la rend-elle synonyme de «probabilité» subjective, ou une distinction est-elle toujours maintenue? (Si oui, quoi?)

— whuber

1

@whuber Je pense que vous allez bien plus loin dans ce que je ne le pensais avec ma remarque. Je veux juste dire que ce n'est pas parce que nous associons couramment le mot «confiance» à un intervalle de confiance que le score de confiance du terme OP ne peut pas être utilisé pour désigner une probabilité (peut-être comme la vision bayésienne de la probabilité en tant que niveau subjectif). mais pas nécessairement).

— Michael R. Chernick

1

@whuber, je faisais effectivement référence à la confiance dans l'étiquette de classe dans le sens de «force de croyance», c'est-à-dire que plus la valeur de probabilité postérieure pour une classe donnée est grande, plus vous avez confiance en l'étiquette de classe prédite. Je suis cependant heureux de supprimer cette réponse.

— BGreene