Les machines à vecteurs de support (SVM) sont la limite de température zéro de la régression logistique?

J'ai eu récemment une discussion rapide avec un ami bien informé qui a mentionné que les SVM sont la limite de température zéro de la régression logistique. La justification impliquait des polytopes marginaux et la dualité fenchel. Je n'ai pas pu suivre.

Cette affirmation selon laquelle les SVM sont la limite de température zéro de la régression logistique est-elle vraie? Et si oui, quelqu'un peut-il décrire l'argument?

— ted
source

Les deux sont liés, mais j'avais l'habitude de penser en régression logistique qu'il valait mieux obtenir la probabilité de chaque classe tandis que les SVM décidaient mieux. La régression logistique correspond donc bien à l'inférence bayésienne, fournissant naturellement un degré de confiance pour chaque classification. Les SVM, d'autre part, seraient mieux adaptés car seuls les vecteurs de support ont un impact sur la classification. Ce sont mes cinq cents.

— Ailton Andrade de Oliveira

Dans le cas du SVM à marge dure et des données séparables linéairement, cela est vrai.

Une esquisse intuitive: la perte de chaque point de données dans la régression logistique s'éteint presque comme une courbe de décroissance exponentielle lorsque vous vous éloignez de la frontière de décision (dans la bonne direction, bien sûr). Cette décroissance exponentielle signifie que les points les plus proches de la frontière subissent beaucoup plus de pertes. Lorsque la température tombe à 0, les points les plus proches de la frontière dominent complètement la perte, et la perte est déterminée par la proximité exacte des points les plus proches.

La régression logistique binaire a la perte d'entropie croisée: où est l'étiquette et est la probabilité prédite en . $- y \log p - (1-y)\log (1-p)$ $y$ $p$ $(0,1)$

Typiquement, où est la fonction sigmoïde. Sur la base du paramètre de température introduit dans cet article , je soupçonne que la température fait référence à une modification de la formulation: , où est la température et I ' ai abandonné le terme de biais pour simplifier. $p = \sigma(w^Tx + b)$ $\sigma$ $p = \sigma(\frac{w^Tx}{\tau})$ $\tau$

En considérant uniquement le premier terme de la perte, . Supposons que tout , car toute autre chose signifierait que est du mauvais côté de la frontière de décision et entraînerait une perte infinie comme . Puisque le terme exponentiel devient très petit dans la limite, nous utilisons l'expansion de premier ordre de taylor pour pour écrire $-y\log p = y\log(1+\exp{}(-\frac{w^Tx}{\tau}))$ $w^Tx > 0$ $x$ $\tau \rightarrow 0$ $\log(1+z)$ $-y\log p \approx y\exp{(-\frac{w^Tx}{\tau})}$

Jusqu'à présent, nous n'utilisions que la perte pour un seul point de données, mais la perte réelle est . Considérez uniquement les étiquettes positives ( ). Cette somme est alors dominée par le terme où est le plus petit (le plus proche de la frontière de décision). $\sum_i y_i \exp{(-\frac{w^Tx_i}{\tau})}$ $y_i = 1$ $w^Tx_i$

Cela peut être vu parce que le rapport entre le terme et le terme est qui va à l'infini ou à 0 comme , donc seul le plus grand terme importe. $i$ $j$ $\frac{\exp (-w^T x_i/\tau)}{\exp (-w^T x_j/\tau)} = \exp(\frac{w^T x_j-w^T x_i}{\tau})$ $\tau \rightarrow 0$ $w^T x_i$

Un argument symétrique peut être utilisé sur le deuxième terme de la perte.

Par conséquent, la perte du problème de régression logistique lorsque la température passe à 0 est minimisée en maximisant la distance minimale à la frontière de décision.

— shimao
source