Vectorisation de la perte d'entropie croisée

Je suis confronté à un problème lié à la recherche du gradient de la fonction de perte d'entropie croisée par rapport au paramètre où:$\theta$

$CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})}$

Où, et est une entrée vectorielle.$\hat{y}_{i} = softmax(\theta_i)$$\theta_i$

De plus, est un vecteur chaud de la classe correcte et est la prédiction pour chaque classe utilisant la fonction softmax.$y$$\hat{y}$

Par conséquent, par exemple, ayons et$y_i = \begin{pmatrix}0\\0\\0\\1\\0\end{pmatrix}$$\hat{y}_{i} = \begin{pmatrix}0.10\\0.20\\0.10\\0.40\\0.20\end{pmatrix}$

Pour trouver la dérivée partielle$\frac{\partial{CE(\theta)}}{\partial{\theta{ik}}} = -{y_{ik} - \hat{y}_{ik}}$

En prenant à partir de là pour chaque les gradients partiels individuels seront $i$$\frac{\partial{CE(\theta)}}{\partial{\theta{i}}} = \begin{pmatrix}y_{i1} - \hat{y}_{i1}\\y_{i2} - \hat{y}_{i2}\\y_{i3} - \hat{y}_{i3}\\y_{i4} - \hat{y}_{i4}\\y_{i5} - \hat{y}_{i5}\end{pmatrix}$

Mais ce n'est pas vrai parce que les gradients devraient en fait être 0 pour toutes les autres lignes, sauf pour la 4ème ligne, car nous avons utilisé la propriété du vecteur chaud. Le gradient réel doit donc être $\frac{\partial{CE(\theta)}}{\partial{\theta{i}}} = \begin{pmatrix}0\\0\\0\\y_{i4} - \hat{y}_{i4}\\0\end{pmatrix}$

Et donc les gradients pour tout devraient être $i$$\frac{\partial{CE(\theta)}}{\partial{\theta}} = \left( \begin{array}{ccc} 0 & 0 & 0 & y_{i4} - \hat{y}_{i4} & 0 \\ 0 & 0 & y_{i3} - \hat{y}_{i3} & 0 & 0 \\ ... \\ 0 & y_{i2} - \hat{y}_{i2} & 0 & 0 & 0 \end{array} \right)$

Mais ce n'est pas égal à . Il ne faut donc pas appeler le gradient de la fonction d'entropie croisée une différence vectorielle entre prédite et originale.$\hat{y} - y$

Quelqu'un peut-il clarifier cela?

MISE À JOUR: correction de ma dérivation

$\theta = \left( \begin{array}{c} \theta_{1} \\ \theta_{2} \\ \theta_{3} \\ \theta_{4} \\ \theta_{5} \\ \end{array} \right)$

$CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})}$

Où, et est une entrée vectorielle.$\hat{y}_{i} = softmax(\theta_i)$$\theta_i$

De plus, est un vecteur chaud de la classe correcte et est la prédiction pour chaque classe utilisant la fonction softmax.$y$$\hat{y}$

$\frac{\partial{CE(\theta)}}{\partial{\theta{i}}} = - (log(\hat{y}_{k}))$

MISE À JOUR: Suppression de l'index de et$y$$\hat{y}$ Par conséquent, par exemple, permet d'avoir et$y = \begin{pmatrix}0\\0\\0\\1\\0\end{pmatrix}$$\hat{y} = \begin{pmatrix}0.10\\0.20\\0.10\\0.40\\0.20\end{pmatrix}$

MISE À JOUR: Correction de la prise du dérivé wrt il ne devrait être que wrt . $\theta_{ik}$$\theta_{i}$ Pour trouver la dérivée partielle$\frac{\partial{CE(\theta)}}{\partial{\theta{i}}} = -{y_{k} - \hat{y}_{k}}$

En prenant à partir de là pour chaque les gradients partiels individuels seront $i$$\frac{\partial{CE(\theta)}}{\partial{\theta}} = \begin{pmatrix}y_{1} - \hat{y}_{1}\\y_{2} - \hat{y}_{2}\\y_{3} - \hat{y}_{3}\\y_{4} - \hat{y}_{4}\\y_{5} - \hat{y}_{5}\end{pmatrix}$

Ce qui précède se produit parce que Et, En prenant la dérivée partielle de wrt nous obtenons:$CE(\theta) = -(y_k*log({\hat{y}_{k}}))$$\hat{y}_{k} = log(softmax(\theta_k)) = \theta_k - log(\sum\nolimits_{j}{exp(\theta_j)})$$CE(\theta)$$\theta_i$

$\frac{\partial{CE(\theta)}}{\partial{\theta{i}}} = - (\frac{\partial{\theta_k}}{\partial{\theta{i}}} - softmax(\theta_i))$

ÉTAPE PRINCIPALE: Le fait que et rend le vecteur qui complète la preuve.$\frac{\partial{\theta_k}}{\partial{\theta{i}}} = 0, i \neq k$$\frac{\partial{\theta_k}}{\partial{\theta{i}}} = 1, i = k$$\frac{\partial{CE(\theta)}}{\partial{\theta}} = \hat{y} - y$

Non, les gradients ne doivent pas être nuls pour les autres composants. Si votre prédiction est pour certains et votre observation , alors vous avez trop prédit par .$\hat y_{ij}$$i,j$$y_{ij}=0$$\hat y_{ij}$

Ce qui suit est le même contenu que l'édition, mais dans un format étape par étape (pour moi) légèrement plus clair:

Nous essayons de prouver que:

$\frac{\partial{CE}}{\partial{\theta}} = \hat{y} - y$

donné

$CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})}$

et

$\hat{y}_{i} = \frac{exp(\theta_i)}{\sum\nolimits_{j}{exp(\theta_j)}}$

Nous savons que pour et , donc:$y_{j} = 0$$j \neq k$$y_k = 1$

$CE(\theta) = -\ log({\hat{y}_{k}})$

$= - \ log(\frac{exp(\theta_k)}{\sum\nolimits_{j}{exp(\theta_j)}})$

$= - \ \theta_k + log(\sum\nolimits_{j}{exp(\theta_j)})$

$\frac{\partial{CE}}{\partial{\theta}} = - \frac{\partial{\theta_k}}{\partial{\theta}} + \frac{\partial}{\partial{\theta}} log(\sum\nolimits_{j}{exp(\theta_j))}$

Utilisez le fait que et pour , montrer que.$\frac{\partial{\theta_k}}{\partial{\theta_k}} = 1$$\frac{\partial{\theta_k}}{\partial{\theta_q}} = 0$$q \neq k$

$\frac{\partial{\theta_k}}{\partial{\theta}} = y$

Pour la deuxième partie, nous écrivons la dérivée pour chaque élément individuel de et utilisons la règle de chaîne pour obtenir:$\theta$

$\frac{\partial}{\partial{\theta_i}} log(\sum\nolimits_{j}{exp(\theta_j))} = \frac{exp(\theta_i)}{\sum\nolimits_{j}{exp(\theta_j)}} = \hat{y}_{i}$

Par conséquent,

$\frac{\partial{CE}}{\partial{\theta}} = \frac{\partial}{\partial{\theta}} log(\sum\nolimits_{j}{exp(\theta_j))} - \frac{\partial{\theta_k}}{\partial{\theta}} = \hat{y}$ - y