Pourquoi est-ce mal d'interpréter SVM comme des probabilités de classification?

Ma compréhension de SVM est qu'elle est très similaire à une régression logistique (LR), c'est-à-dire qu'une somme pondérée de caractéristiques est passée à la fonction sigmoïde pour obtenir une probabilité d'appartenance à une classe, mais au lieu de la perte d'entropie croisée (logistique) fonction, la formation est effectuée en utilisant la perte de charnière. L'avantage de l'utilisation de la perte de charnière est que l'on peut effectuer diverses astuces numériques pour rendre la noyalisation plus efficace. Un inconvénient, cependant, est que le modèle résultant a moins d'informations qu'un modèle LR correspondant pourrait en avoir. Ainsi, par exemple, sans kernelisation (en utilisant un noyau linéaire), la frontière de décision SVM serait toujours au même endroit où LR produirait une probabilité de 0,5, MAIS on ne peut pas dire à quelle vitesse la probabilité d'appartenir à une classe se désintègre de la limite de décision.

Mes deux questions sont:

1. Mon interprétation ci-dessus est-elle correcte?
2. Comment l'utilisation de la perte de charnière rend-elle invalide l'interprétation des résultats SVM comme probabilités?

Un SVM n'alimente rien dans une fonction sigmoïde. Il adapte un hyperplan de séparation aux données qui essaient de mettre tous les points de données de votre ensemble d'entraînement qui sont d'une classe d'un côté, et tous les points de l'autre classe de l'autre. Par conséquent, il attribue une classe en fonction de quel côté se trouve votre vecteur d'entités. Plus formellement, si nous désignons le vecteur d'entité comme et les coefficients d'hyperplan comme et l'interception, alors l'affectation de classe est . Résoudre un SVM revient à trouver$\mathbf{x}$$\mathbf{\beta}$$\beta_0$$y = sign(\beta \cdot \mathbf{x} + \beta_0)$$\beta, \beta_0$qui minimisent la perte de charnière avec la plus grande marge possible. Par conséquent, comme un SVM ne se soucie que de quel côté de l'hyperplan sur lequel vous vous trouvez, vous ne pouvez pas transformer ses affectations de classe en probabilités.

Dans le cas d'un SVM linéaire (pas de noyau), la frontière de la limite de décision sera similaire à celle d'un modèle de régression logistique, mais peut varier en fonction de la force de régularisation que vous avez utilisée pour ajuster le SVM. Étant donné que le SVM et le LR résolvent différents problèmes d'optimisation, il n'est pas garanti d'avoir des solutions identiques pour la frontière de décision.

Il existe de nombreuses ressources sur le SVM qui aideront à clarifier les choses: voici un exemple et un autre.