Définition de la fonction softmax

Cette question fait suite à stats.stackexchange.com/q/233658

Le modèle de régression logistique pour les classes {0, 1} est

P (y = 1 | x) = \frac{\exp (w^{T} x)}{1 + \exp (w^{T} x)} P (y = 0 | x) = \frac{1}{1 + \exp (w^{T} x)}

$\mathbb{P} (y = 1 \;|\; x) = \frac{\exp(w^T x)}{1 + \exp(w^T x)} \\ \mathbb{P} (y = 0 \;|\; x) = \frac{1}{1 + \exp(w^T x)}$

Clairement, ces probabilités sont à 1. En définissant nous pourrions également définir la régression logistique comme $w = \beta_1 - \beta_0$

P (y = c | x) = \frac{\exp (β_{c}^{T} x)}{\exp (β_{0}^{T} x) + \exp (β_{1}^{T} x)} \forall c \in {0, 1}

$\mathbb{P} (y = c \;|\; x) = \frac{\exp(\beta_c^T x)}{\exp(\beta_0^T x) + \exp(\beta_1^T x)} \quad \forall \; c \in \{0, 1\}$

Cependant, la deuxième définition est rarement utilisée car les coefficients et ne sont pas uniques. En d'autres termes, le modèle n'est pas identifiable, tout comme la régression linéaire avec deux variables qui sont multiples l'une de l'autre. $\beta_0$ $\beta_1$

Question

En apprentissage automatique, pourquoi le modèle de régression softmax pour les classes {0, 1, ..., K - 1} est-il généralement défini comme suit?

P (y = c | x) = \frac{\exp (β_{c}^{T} x)}{\exp (β_{0}^{T} x) + \dots + \exp (β_{K - 1}^{T} x)} \forall c \in {0, \dots, K - 1}

$\mathbb{P} (y = c \;|\; x) = \frac{\exp(\beta_c^T x)}{\exp(\beta_0^T x) + \dots + \exp(\beta_{K-1}^T x)} \quad \forall \; c \in \{0, \dots, K-1\}$

Ne devrait-il pas plutôt être

\begin{aligned} P (y = c | x) & = \frac{\exp (w_{c}^{T} x)}{1 + \exp (w_{1}^{T} x) + \dots + \exp (w_{K - 1}^{T} x)} \forall c \in {1, \dots, K - 1} \\ P (y = 0 | x) & = \frac{1}{1 + \exp (w_{1}^{T} x) + \dots + \exp (w_{K - 1}^{T} x)} \end{aligned}

$\begin{align*} \mathbb{P} (y = c \;|\; x) &= \frac{\exp(w_c^T x)}{1 + \exp(w_1^T x) + \dots + \exp(w_{K-1}^T x)} \quad \forall \; c \in \{1, \dots, K-1\} \\ \mathbb{P} (y = 0 \;|\; x) &= \frac{1}{1 + \exp(w_1^T x) + \dots + \exp(w_{K-1}^T x)} \end{align*}$

Note latérale: En statistique, la régression softmax est appelée régression logistique multinomiale et les classes sont {1, ..., K}. Je trouve cela un peu gênant car lorsque K = 2, les classes sont {1, 2} au lieu de {0, 1} donc ce n'est pas exactement une généralisation de la régression logistique.

— fermier
source

Est-il généralement défini de cette façon? Pouvez-vous indiquer une référence?

— Le Laconic

@TheLaconic Voir la définition de softmax sur scikit-learn.org/stable/modules/neural_networks_supervised.html et www.tensorflow.org/versions/r1.1/get_started/mnist/beginners

— agriculteur le

D'ACCORD. J'ai demandé parce que je n'avais jamais vu de modèles de régression MNL définis de cette façon. Mais apparemment, c'est "habituel" dans le contexte des réseaux neuronaux - et maintenant j'ai la même question que vous.

— Le Laconic

Je ne sais pas comment répondre à une question "ne devrait-il pas être X". La définition donnée est différenciable et définit une distribution de probabilité (somme à 1). Il semble que ce soient les parties importantes, alors pourquoi ne devrait-il pas en être ainsi au lieu des autres?

— kbrose

@kbrose en raison du manque d'identification

— Taylor

Oui, vous avez raison de dire qu'il y a un manque d'identifiabilité à moins qu'un des vecteurs coefficents ne soit fixé. Il y a certaines raisons qui ne le mentionnent pas. Je ne peux pas expliquer pourquoi ils omettent ce détail, mais voici une explication de ce que c'est et comment y remédier.

La description

Supposons que vous ayez des observations et des prédicteurs , où passe de à et désigne le numéro / indice d'observation. Vous devrez estimer les vecteurs coefficient dimensionnel . $y_i \in \{0, 1, 2, \ldots, K-1\}$ $\mathbf{x}_i^\intercal \in \mathbb{R}^p$ $i$ $1$ $n$ $K$ $p$ $\boldsymbol{\beta}^0, \boldsymbol{\beta}^1, \ldots, \boldsymbol{\beta}^{K-1}$

La fonction softmax est en effet définie comme qui a de belles propriétés telles que la différentiabilité, il se résume à , etc.

softmax (z)_{i} = \frac{\exp (z_{i})}{\sum_{l = 0}^{K - 1} \exp (z_{l})},

$\text{softmax}(\mathbf{z})_i = \frac{\exp(z_i)}{\sum_{l=0}^{K-1}\exp(z_l)},$

1

$1$

La régression logistique multinomiale utilise la fonction softmax pour chaque observation sur le vecteur $i$

[\begin{matrix} x_{i}^{⊺} β^{0} \\ x_{i}^{⊺} β^{1} \\ ⋮ \\ x_{i}^{⊺} β^{K - 1}, \end{matrix}]

$\begin{bmatrix} \mathbf{x}_i^\intercal \boldsymbol{\beta}^0 \\ \mathbf{x}_i^\intercal \boldsymbol{\beta}^1 \\ \vdots \\ \mathbf{x}_i^\intercal \boldsymbol{\beta}^{K-1}, \end{bmatrix}$

ce qui signifie

[\begin{matrix} P (y_{je} = 0) \\ P (y_{je} = 1) \\ ⋮ \\ P (y_{je} = K - 1) \end{matrix}] = [\begin{matrix} \frac{\exp [X_{je}^{⊺} β^{0}]}{\sum_{k = 0}^{K - 1} \exp [X_{je}^{⊺} β^{k}]} \\ \frac{\exp [X_{je}^{⊺} β^{1}]}{\sum_{k = 0}^{K - 1} \exp [X_{je}^{⊺} β^{k}]} \\ ⋮ \\ \frac{\exp [X_{je}^{⊺} β^{K - 1}]}{\sum_{k = 0}^{K - 1} \exp [X_{je}^{⊺} β^{k}]} \end{matrix}] .

$\begin{bmatrix} P(y_i = 0) \\ P(y_i = 1) \\ \vdots \\ P(y_i = K-1) \end{bmatrix} = \begin{bmatrix} \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^0] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \\ \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^1] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \\ \vdots \\ \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^{K-1}] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \end{bmatrix}.$

Le problème

Cependant, la probabilité n'est pas identifiable car plusieurs collections de paramètres donneront la même probabilité. Par exemple, décaler tous les vecteurs de coefficient par le même vecteur produira la même probabilité. Cela peut être vu si vous multipliez chacun le numérateur et le dénominateur de chaque élément du vecteur par une constante , rien ne change: $\mathbf{c}$ $\exp[-\mathbf{x}_i^\intercal \mathbf{c}]$

[\begin{matrix} \frac{\exp [X_{je}^{⊺} β^{0}]}{\sum_{k = 0}^{K - 1} \exp [X_{je}^{⊺} β^{k}]} \\ \frac{\exp [X_{je}^{⊺} β^{1}]}{\sum_{k = 0}^{K - 1} \exp [X_{je}^{⊺} β^{k}]} \\ ⋮ \\ \frac{\exp [X_{je}^{⊺} β^{K - 1}]}{\sum_{k = 0}^{K - 1} \exp [X_{je}^{⊺} β^{k}]} \end{matrix}] = [\begin{matrix} \frac{\exp [X_{je}^{⊺} (β^{0} - c)]}{\sum_{k = 0}^{K - 1} \exp [X_{je}^{⊺} (β^{k} - c)]} \\ \frac{\exp [X_{je}^{⊺} (β^{1} - c)]}{\sum_{k = 0}^{K - 1} \exp [X_{je}^{⊺} (β^{k} - c)]} \\ ⋮ \\ \frac{\exp [X_{je}^{⊺} (β^{K - 1} - c)]}{\sum_{k = 0}^{K - 1} \exp [X_{je}^{⊺} (β^{k} - c)]} \end{matrix}] .

$\begin{bmatrix} \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^0] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \\ \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^1] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \\ \vdots \\ \frac{\exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^{K-1}] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal \boldsymbol{\beta}^k] } \end{bmatrix} = \begin{bmatrix} \frac{\exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^0-\mathbf{c})] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^k-\mathbf{c})] } \\ \frac{\exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^1-\mathbf{c})] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^k-\mathbf{c})] } \\ \vdots \\ \frac{\exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^{K-1} - \mathbf{c})] }{ \sum_{k=0}^{K-1} \exp[\mathbf{x}_i^\intercal (\boldsymbol{\beta}^k -\mathbf{c}) ] } \end{bmatrix}.$

Le réparer

La façon de résoudre ce problème consiste à contraindre les paramètres. La correction de l'un d'entre eux entraînera une identifiabilité, car le déplacement de tous ne sera plus autorisé.

Il y a deux choix communs:

set , ce qui signifie (vous mentionnez celui-ci), et $\mathbf{c} = \boldsymbol{\beta}^0$ $\boldsymbol{\beta}^0 = \mathbf{0}$
set , ce qui signifie . $\mathbf{c} = \boldsymbol{\beta}^{K-1}$ $\boldsymbol{\beta}^{K-1} = \mathbf{0}$

L'ignorer

Parfois, cependant, la restriction n'est pas nécessaire. Par exemple, si vous vouliez former un intervalle de confiance pour la quantité , alors c'est la même chose que , donc relativement les quantités n'ont pas vraiment d'importance. De plus, si votre tâche est la prédiction au lieu de l'inférence de paramètres, vos prédictions ne seront pas affectées si tous les vecteurs de coefficient sont estimés (sans en contraindre un). $\beta^0_1 - \beta^2_1$ $\beta^0_1 - c - [\beta^2_1-c]$

— Taylor
source