Fonction Softmax vs Sigmoid dans un classificateur logistique?

63

Qu'est-ce qui détermine le choix de la fonction (Softmax vs Sigmoid) dans un classificateur logistique?

Supposons qu'il existe 4 classes de sortie. Chacune des fonctions ci-dessus donne les probabilités que chaque classe soit la sortie correcte. Alors lequel choisir pour un classificateur?

— mach
source

16

La fonction softmax n'est rien d'autre qu'une généralisation du sigmoïde. Ce que vous entendez par "softmax vs sigmoid" n'est donc pas tout à fait clair.

— dsaxton

2

C'est le cas du sigmoïde. Lorsque nous utilisons le sigmoïde, une classe a une probabilité et l'autre une probabilité .

\exp (β^{T} x) / (\exp (β^{T} x) + 1)

$\exp(\beta^T x) / (\exp(\beta^T x) + 1)$

1 / (\exp (β^{T} x) + 1)

$1 / (\exp(\beta^T x) + 1)$

— dsaxton

3

L’affiche de reddit fait une distinction que j'estime erronée ou du moins non pertinente. Que l'une des classes ait ou non un poids, il ne s'agit que de déplacer les scores, ce qui n'a pas d'incidence sur les probabilités.

— dsaxton

2

Duplication possible de la régression logistique binaire et multinomiale

— Franck Dernoncourt le

3

"ce que vous entendez par" softmax contre sigmoïde "n'est pas tout à fait clair. Juste en dessous du titre, il y a le corps de la question - très facile à manquer, je sais. De plus, c’est un bon titre de diriger les requêtes google pour venir ici pour répondre exactement à ce qui a été demandé.

— Michael

77

La fonction sigmoïde est utilisée pour la régression logistique à deux classes, tandis que la fonction softmax est utilisée pour la régression logistique multiclass (MaxEnt, régression logistique multinomiale, régression softmax, Classificateur d'entropie maximum).

Dans la régression logistique à deux classes, les probabilités prédites sont les suivantes, en utilisant la fonction sigmoïde:

\begin{aligned} Pr (Y_{i} = 0) & = \frac{e^{- β_{\cdot} X_{i}}}{1 + e^{- β_{0} \cdot X_{i}}} \\ Pr (Y_{i} = 1) & = 1 - Pr (Y_{i} = 0) = \frac{1}{1 + e^{- β_{\cdot} X_{i}}} \end{aligned}

$\begin{align} \Pr(Y_i=0) &= \frac{e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} {1 +e^{-\boldsymbol\beta_0 \cdot \mathbf{X}_i}} \, \\ \Pr(Y_i=1) &= 1 - \Pr(Y_i=0) = \frac{1} {1 +e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} \end{align}$

Dans la régression logistique multi- classes , avec $K$ classes, les probabilités prédites sont les suivantes, à l'aide de la fonction softmax:

\begin{aligned} Pr (Y_{i} = k) & = \frac{e^{β_{k} \cdot X_{i}}}{\sum_{0 \leq c \leq K}^{} e^{β_{c} \cdot X_{i}}} \end{aligned}

$\begin{align} \Pr(Y_i=k) &= \frac{e^{\boldsymbol\beta_k \cdot \mathbf{X}_i}} {~\sum_{0 \leq c \leq K}^{}{e^{\boldsymbol\beta_c \cdot \mathbf{X}_i}}} \, \\ \end{align}$

On peut observer que la fonction softmax est une extension de la fonction sigmoïde au cas multiclass, comme expliqué ci-dessous. Regardons la régression logistique multi- classes , avec classes: $K=2$

\begin{aligned} Pr (Y_{i} = 0) & = \frac{e^{β_{0} \cdot X_{i}}}{\sum_{0 \leq c \leq K}^{} e^{β_{c} \cdot X_{i}}} = \frac{e^{β_{0} \cdot X_{i}}}{e^{β_{0} \cdot X_{i}} + e^{β_{1} \cdot X_{i}}} = \frac{e^{(β_{0} - β_{1}) \cdot X_{i}}}{e^{(β_{0} - β_{1}) \cdot X_{i}} + 1} = \frac{e^{- β_{\cdot} X_{i}}}{1 + e^{- β \cdot X_{i}}} \\ Pr (Y_{i} = 1) & = \frac{e^{β_{1} \cdot X_{i}}}{\sum_{0 \leq c \leq K}^{} e^{β_{c} \cdot X_{i}}} = \frac{e^{β_{1} \cdot X_{i}}}{e^{β_{0} \cdot X_{i}} + e^{β_{1} \cdot X_{i}}} = \frac{1}{e^{(β_{0} - β_{1}) \cdot X_{i}} + 1} = \frac{1}{1 + e^{- β_{\cdot} X_{i}}} \end{aligned}

$\begin{align} \Pr(Y_i=0) &= \frac{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i}} {~\sum_{0 \leq c \leq K}^{}{e^{\boldsymbol\beta_c \cdot \mathbf{X}_i}}} = \frac{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i}}{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i} + e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}} = \frac{e^{(\boldsymbol\beta_0 - \boldsymbol\beta_1) \cdot \mathbf{X}_i}}{e^{(\boldsymbol\beta_0 - \boldsymbol\beta_1) \cdot \mathbf{X}_i} + 1} = \frac{e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} {1 +e^{-\boldsymbol\beta \cdot \mathbf{X}_i}} \\ \, \\ \Pr(Y_i=1) &= \frac{e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}} {~\sum_{0 \leq c \leq K}^{}{e^{\boldsymbol\beta_c \cdot \mathbf{X}_i}}} = \frac{e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}}{e^{\boldsymbol\beta_0 \cdot \mathbf{X}_i} + e^{\boldsymbol\beta_1 \cdot \mathbf{X}_i}} = \frac{1}{e^{(\boldsymbol\beta_0-\boldsymbol\beta_1) \cdot \mathbf{X}_i} + 1} = \frac{1} {1 +e^{-\boldsymbol\beta_ \cdot \mathbf{X}_i}} \, \\ \end{align}$

avec . Nous voyons que nous obtenons les mêmes probabilités que dans la régression logistique à deux classes en utilisant la fonction sigmoïde. Wikipedia développe un peu plus à ce sujet. $\boldsymbol\beta = - (\boldsymbol\beta_0 - \boldsymbol\beta_1)$

— Franck Dernoncourt
source

1

Je suis naïf dans celui-ci, mais je le vois très souvent β = - (β0 − β1) Quelle explication possible? Pour autant que je sache dans Sigmoids, β serait un vecteur. Et ils sont généralement un pour une course donnée. Alors comment se fait-il que β0 et β1 apparaissent dans l’image?

— Ishan Bhatt

1

@IshanBhatt ce commentaire peut aider.

— Tom Hale

étrangement, je peux encore régresser en multiclasses en utilisant simplement sigmoïde :)

— datdinhquoc

15

En fait, ils sont équivalents, en ce sens que l’un peut être transformé en un autre.

Supposons que vos données soient représentées par un vecteur , de dimension arbitraire, et que vous ayez construit un classificateur binaire à l'aide d'une transformation affine suivie d'un softmax: $\boldsymbol{x}$

(\begin{matrix} z_{0} \\ z_{1} \end{matrix}) = (\begin{matrix} w_{0}^{T} \\ w_{1}^{T} \end{matrix}) x + (\begin{matrix} b_{0} \\ b_{1} \end{matrix}),

$\begin{equation} \begin{pmatrix} z_0 \\ z_1 \end{pmatrix} = \begin{pmatrix} \boldsymbol{w}_0^T \\ \boldsymbol{w}_1^T \end{pmatrix}\boldsymbol{x} + \begin{pmatrix} b_0 \\ b_1 \end{pmatrix}, \end{equation}$

P (C_{i} | x) = softmax (z_{i}) = \frac{e^{z_{i}}}{e^{z_{0}} + e^{z_{1}}}, i \in {0, 1} .

$\begin{equation} P(C_i | \boldsymbol{x}) = \text{softmax}(z_i)=\frac{e^{z_i}}{e^{z_0}+e^{z_1}}, \, \, i \in \{0,1\}. \end{equation}$

Transformons-le en un classifieur binaire équivalent qui utilise un sigmoïde au lieu du softmax. Tout d'abord, nous devons décider quelle est la probabilité que nous voulions que le sigmoïde produise une sortie (ce qui peut être pour la classe ou ). Ce choix est absolument arbitraire et j'ai donc choisi la classe . Ensuite, mon classificateur sera de la forme: $C_0$ $C_1$ $C_0$

z^{'} = w^{' T} x + b^{'},

$\begin{equation} z' = \boldsymbol{w}'^T \boldsymbol{x} + b', \end{equation}$

P (C_{0} | x) = σ (z^{'}) = \frac{1}{1 + e^{- z^{'}}},

$\begin{equation} P(C_0 | \boldsymbol{x}) = \sigma(z')=\frac{1}{1+e^{-z'}}, \end{equation}$

P (C_{1} | x) = 1 - σ (z^{'}) .

$\begin{equation} P(C_1 | \boldsymbol{x}) = 1-\sigma(z'). \end{equation}$

Les classificateurs sont équivalents si les probabilités sont les mêmes, il faut donc imposer:

σ (z^{'}) = softmax (z_{0})

$\begin{equation} \sigma(z') = \text{softmax}(z_0) \end{equation}$

Remplacement de , et par leurs expressions en termes de et et en effectuant quelques simples manipulation algébrique, vous pouvez vérifier que l'égalité ci-dessus est vraie si et seulement si et sont donnés par: $z_0$ $z_1$ $z'$ $\boldsymbol{w}_0,\boldsymbol{w}_1, \boldsymbol{w}', b_0, b_1, b'$ $\boldsymbol{x}$ $\boldsymbol{w}'$ $b'$

w^{'} = w_{0} - w_{1},

$\begin{equation} \boldsymbol{w}' = \boldsymbol{w}_0-\boldsymbol{w}_1, \end{equation}$

b^{'} = b_{0} - b_{1} .

$\begin{equation} b' = b_0-b_1. \end{equation}$

— RÉ...
source

@ Null Ok, si vous le demandez, vous n'avez pas compris mon explication. Permettez-moi de répondre à votre problème spécifique: si vous me dites que vous transmettez vos données à un sigmoïde, il doit alors s'agir d'un nombre unidimensionnel, . Lorsque vous l'alimentez dans un sigmoïde, vous obtenez la probabilité que soit dans l'une de vos deux classes, par exemple : . Alors, la probabilité que soit dans est: . Remplaçons maintenant votre sigmoïde par un softmax. (À suivre).

x

$x$

x

$x$

C_{0}

$C_0$

P (C_{0} | x) = σ (x)

$P(C_0|x)=σ(x)$

x

$x$

C_{1}

$C_1$

P (C_{1} | x) = 1 - P (C_{0} | x) = σ (x)

$P(C_1|x)=1−P(C_0|x)=σ(x)$

— D ...

(Continuation). Pour appliquer une variable logicielle à un problème de classification à deux classes, vous avez besoin que vos données unidimensionnelles soient transformées en un vecteur bidimensionnel. Par conséquent, nous devons définir nos et . Choisissons . Puisque doit satisfaire , nous avons , donc . Nous avons maintenant et . En utilisant cela, vous pouvez immédiatement vérifier que .

w_{0}

$w_0$

w_{1}

$w_1$

w_{0} = 1

$w_0=1$

w_{1}

$w_1$

w' = w_{0} - w_{1}

$w′=w_0−w_1$

1 = 1 - w_{1}

$1=1−w_1$

w_{1} = 0

$w_1=0$

z_{0} = w_{0} x = x

$z_0=w_0x=x$

z_{1} = w_{1} x = 0

$z_1=w_1x=0$

σ (x) = softmax (z_{0})

$σ(x)=\text{softmax}(z_0)$

— D ...

De plus, toute combinaison de et qui satisfait (c'est-à-dire, ) aboutirait exactement au même résultat. Cela montre que le softmax a un paramètre redondant. Bien que cela puisse paraître stupide, il s'agit en fait d'une propriété intéressante, car elle permet la normalisation des paramètres , ce qui favorise la stabilité numérique de l'algorithme d'apprentissage et l'inférence. Mais ceci est juste un commentaire supplémentaire, il n'est pas important de répondre à votre question :)

w_{0}

$w_0$

w_{1}

$w_1$

w^{'} = w_{0} - w_{1}

$w'=w_0-w_1$

1 = w_{1} - w_{0}

$1=w_1-w_0$

w_{i}

$w_i$

— D ...

Merci beaucoup. J? ai compris. Dans votre premier commentaire, la probabilité devrait probablement être . Je comprends maintenant quelle est l'idée derrière la transformation.

P (C_{1} | x)

$P(C_1|x)$

1 - σ (x)

$1-\sigma(x)$

— null

Content que tu l'aies compris;) Oui, c'est une faute de frappe, ça devrait évidemment être . Merci de l'avoir signalé!

P (C_{1} | x) = 1 - σ (x)

$P(C_1|x)=1 - \sigma(x)$

— D ...

8

J'ai remarqué que les gens se posaient souvent cette question lorsqu'ils cherchaient à utiliser sigmoïde ou softmax dans des réseaux de neurones. Si vous faites partie de ces personnes qui construisent un classificateur de réseau neuronal, voici comment décider d’appliquer sigmoïde ou softmax aux valeurs de sortie brutes de votre réseau:

Si vous avez un problème de classification multi-étiquettes = il y a plus d'une "bonne réponse" = les sorties ne s'excluent PAS mutuellement, utilisez une fonction sigmoïde indépendamment sur chaque sortie brute. Le sigmoïde vous permettra d'avoir une probabilité élevée pour toutes vos classes, certaines ou aucune d'entre elles. Exemple: classer les maladies dans une image radiographique du thorax. L'image peut contenir une pneumonie, un emphysème et / ou un cancer, ou aucune de ces constatations.
Si vous avez un problème de classification multi-classes = il n’existe qu’une seule "bonne réponse" = les sorties s’excluent mutuellement, utilisez une fonction softmax. La variable logicielle imposera que la somme des probabilités de vos classes de sortie soit égale à un. Par conséquent, pour augmenter la probabilité d'une classe particulière, votre modèle doit réduire en conséquence la probabilité d'au moins une des autres classes. Exemple: classification des images à partir du jeu de données MNIST de chiffres manuscrits. Une seule image d'un chiffre n'a qu'une seule identité réelle - l'image ne peut pas être un 7 et un 8 en même temps.

Référence: pour une explication plus détaillée du moment d'utiliser sigmoïde par rapport à softmax dans la conception d'un réseau neuronal, y compris des exemples de calcul, veuillez consulter cet article: "Classification: Sigmoïde par rapport à Softmax."

— Veritessa
source

-1

Ajoutant à toutes les réponses précédentes - je voudrais mentionner le fait que tout problème de classification multi-classes peut être réduit à plusieurs problèmes de classification binaire en utilisant la méthode "one-vs-all", c’est-à-dire avoir C sigmoids (lorsque C est le nombre de classes) et en interprétant chaque sigmoïde comme étant la probabilité d'être dans cette classe spécifique ou non, et en prenant la probabilité maximale.

Ainsi, par exemple, dans l'exemple des chiffres MNIST, vous pouvez utiliser un softmax ou dix sigmoids. En fait, c'est ce que fait Andrew Ng dans son cours Coursera ML. Vous pouvez voir ici comment Andrew Ng a utilisé 10 sigmoids pour la classification multiclass (adapté de Matlab à python par moi), et voici mon adaptation softmax en python.

Il convient également de noter que, si les fonctions sont équivalentes (aux fins de la classification multiclass), leur mise en œuvre diffère quelque peu (en particulier en ce qui concerne leurs dérivés et la manière de représenter y).

L’utilisation d’un grand nombre de classifications binaires (Sigmoids) par rapport à une classification multiclassique unique (Softmax) constitue un gros avantage: si votre softmax est trop volumineux (par exemple, si vous utilisez un mot unique incorporant une taille de dictionnaire de 10 000 ou plus) ) - il peut être inefficace de le former. Ce que vous pouvez faire à la place est de prendre une petite partie de votre kit d’entraînement et de l’utiliser pour entraîner une petite partie de vos sigmoids. C'est l'idée principale de l' échantillonnage négatif .

— David Refaeli
source

Les fonctions ne sont pas équivalentes car le réseau softmax est contraint de produire une distribution de probabilité entre les classes et les sorties: le vecteur est non négatif et vaut 1. Les unités sigmoïdes sont non négatives, mais elles peuvent totaliser n'importe quel nombre. entre 0 et ; ce n'est pas une distribution de probabilité valide. Cette distinction est cruciale pour caractériser la différence entre les deux fonctions.

C

$C$

C

$C$

— Réintégrer Monica le

Quelle est votre définition d'équivalent? Le mien est: vous pouvez utiliser soit pour la classification multiclass sans aucun problème. De plus, toute classification multiclasse utilisant softmax peut être transformée en une classification binaire one-vs-all qui utilise sigmoids. Pourquoi devrais-je me soucier de la distribution des sorties en sommant à 1?

— David Refaeli le

Votre argument sur la classification multi-étiquettes montre pourquoi sigmoid et softmax ne sont pas équivalents. Lorsque vous utilisez softmax, augmenter la probabilité d'une classe diminue la probabilité totale de toutes les autres classes (en raison de la somme à 1). En utilisant sigmoid, augmenter la probabilité d'une classe ne change pas la probabilité totale des autres classes. Cette observation est la raison pour laquelle sigmoid est plausible pour une classification multi-étiquettes: un seul exemple peut appartenir à classes. Sum-to-1 est également la raison pour laquelle softmax ne convient pas à la classification multi-étiquettes.

0, 1, 2, \dots, C

$0, 1, 2, \dots , C$

— Réintégrer Monica le

Je t'ai perdu. À toutes les fins pratiques que je connaisse, plusieurs sigmoids = 1 softmax. J'ai même ajouté le cas de l'échantillonnage négatif, où plusieurs sigmoïdes ont un avantage sur un softmax.

— David Refaeli le