Propagation du dos avec Softmax / Entropie croisée

40

J'essaie de comprendre comment fonctionne la rétropropagation pour une couche de sortie softmax / entropie croisée.

La fonction d'erreur d'entropie croisée est

E (t, o) = - \sum_{j} t_{j} \log o_{j}

$E(t,o)=-\sum_j t_j \log o_j$

avec et comme cible et sortie au neurone , respectivement. La somme est sur chaque neurone dans la couche de sortie. lui-même est le résultat de la fonction softmax: $t$ $o$ $j$ $o_j$

o_{j} = s o f t m a x (z_{j}) = \frac{e^{z_{j}}}{\sum_{j} e^{z_{j}}}

$o_j=softmax(z_j)=\frac{e^{z_j}}{\sum_j e^{z_j}}$

De nouveau, la somme est sur chaque neurone dans la couche de sortie et est l'entrée du neurone : $z_j$ $j$

z_{j} = \sum_{i} w_{i j} o_{i} + b

$z_j=\sum_i w_{ij}o_i+b$

C'est la somme de tous les neurones de la couche précédente avec leur sortie correspondante et leur poids vers le neurone plus un biais . $o_i$ $w_{ij}$ $j$ $b$

Maintenant, pour mettre à jour un poids qui connecte un neurone dans la couche de sortie avec un neurone dans la couche précédente, je dois calculer la dérivée partielle de la fonction d'erreur à l'aide de la règle de chaîne: $w_{ij}$ $j$ $i$

\frac{\partial E}{\partial w_{i j}} = \frac{\partial E}{\partial o_{j}} \frac{\partial o_{j}}{\partial z_{j}} \frac{\partial z_{j}}{\partial w_{i j}}

$\frac{\partial E} {\partial w_{ij}}=\frac{\partial E} {\partial o_j} \frac{\partial o_j} {\partial z_{j}} \frac{\partial z_j} {\partial w_{ij}}$

avec comme entrée du neurone . $z_j$ $j$

Le dernier terme est assez simple. Comme il n'y a qu'un seul poids entre et , le dérivé est: $i$ $j$

\frac{\partial z_{j}}{\partial w_{i j}} = o_{i}

$\frac{\partial z_j} {\partial w_{ij}}=o_i$

Le premier terme est la dérivation de la fonction d'erreur par rapport à la sortie : $o_j$

\frac{\partial E}{\partial o_{j}} = \frac{- t_{j}}{o_{j}}

$\frac{\partial E} {\partial o_j} = \frac{-t_j}{o_j}$

Le moyen terme est la dérivation de la fonction softmax par rapport à son entrée est plus difficile: $z_j$

\frac{\partial o_{j}}{\partial z_{j}} = \frac{\partial}{\partial z_{j}} \frac{e^{z_{j}}}{\sum_{j} e^{z_{j}}}

$\frac{\partial o_j} {\partial z_{j}}=\frac{\partial} {\partial z_{j}} \frac{e^{z_j}}{\sum_j e^{z_j}}$

Disons que nous avons trois neurones de sortie correspondant aux classes puis est: $a,b,c$ $o_b = softmax(b)$

o_{b} = \frac{e^{z_{b}}}{\sum e^{z}} = \frac{e^{z_{b}}}{e^{z_{a}} + e^{z_{b}} + e^{z_{c}}}

$o_b=\frac{e^{z_b}}{\sum e^{z}}=\frac{e^{z_b}}{e^{z_a}+e^{z_b}+e^{z_c}}$

et sa dérivation en utilisant la règle du quotient:

\frac{\partial o_{b}}{\partial z_{b}} = \frac{e^{z_{b}} * \sum e^{z} - (e^{z_{b}})^{2}}{(\sum_{j} e^{z})^{2}} = \frac{e^{z_{b}}}{\sum e^{z}} - \frac{(e^{z_{b}})^{2}}{(\sum e^{z})^{2}}

$\frac{\partial o_b} {\partial z_{b}}=\frac{e^{z_b}*\sum e^z - (e^{z_b})^2}{(\sum_j e^{z})^2}=\frac{e^{z_b}}{\sum e^z}-\frac{(e^{z_b})^2}{(\sum e^z)^2}$

= s o f t m a x (b) - s o f t m a x^{2} (b) = o_{b} - o_{b}^{2} = o_{b} (1 - o_{b})

$=softmax(b)-softmax^2(b)=o_b-o_b^2=o_b(1-o_b)$ Retour au moyen terme pour la rétropropagation, cela signifie:

\frac{\partial o_{j}}{\partial z_{j}} = o_{j} (1 - o_{j})

$\frac{\partial o_j} {\partial z_{j}}=o_j(1-o_j)$

Je rassemble tout

\frac{\partial E}{\partial w_{i j}} = \frac{- t_{j}}{o_{j}} * o_{j} (1 - o_{j}) * o_{i} = - t_{j} (1 - o_{j}) * o_{i}

$\frac{\partial E} {\partial w_{ij}}= \frac{-t_j}{o_j}*o_j(1-o_j)*o_i=-t_j(1-o_j)*o_i$

ce qui signifie que si la cible de cette classe est , je ne pas à jour les poids pour cela. Cela ne semble pas juste. $t_j=0$

En recherchant cela, j'ai trouvé des personnes ayant deux variantes pour la dérivation softmax, l'une où et l'autre pour , comme ici ou ici . $i=j$ $i\ne j$

Mais je ne peux pas avoir de sens de cela. De plus, je ne suis même pas sûr que ce soit la cause de mon erreur, c'est pourquoi je publie tous mes calculs. J'espère que quelqu'un pourra me préciser s'il me manque quelque chose ou si je me trompe.

— micha
source

Les liens que vous avez indiqués calculent la dérivée par rapport à l'entrée, tandis que vous calculez la dérivée par rapport aux poids.

— Jenkar

35

Note: Je ne suis pas un expert sur le backprop, mais maintenant que j'ai lu un peu, je pense que la mise en garde suivante est appropriée. Lors de la lecture des documents ou des livres sur les réseaux de neurones, il est rare que les dérivés à écrire en utilisant un mélange de la norme sommation / notation d'index , la notation de la matrice , et la notation multi-index (comprend un hybride des deux derniers pour les dérivés tenseur tenseur ). En règle générale, l'objectif est que cela soit "compris du contexte", vous devez donc faire attention!

J'ai remarqué quelques incohérences dans votre dérivation. Je ne fais pas vraiment de réseaux de neurones, alors ce qui suit peut être incorrect. Cependant, voici comment je réglerais le problème.

Tout d’abord, vous devez tenir compte de la somme en et vous ne pouvez pas supposer que chaque terme dépend d’un poids. Donc, en prenant le gradient de par rapport à la composante de , nous avons $E$ $E$ $k$ $z$

E = - \sum_{j} t_{j} \log o_{j} ⟹ \frac{\partial E}{\partial z_{k}} = - \sum_{j} t_{j} \frac{\partial \log o_{j}}{\partial z_{k}}

$E=-\sum_jt_j\log o_j\implies\frac{\partial E}{\partial z_k}=-\sum_jt_j\frac{\partial \log o_j}{\partial z_k}$

Ensuite, exprimer comme nous avons où est le Kronecker delta . Alors le gradient du dénominateur softmax est qui donne ou, développez le journal Notez que la dérivée est relative à , un arbitraire $o_j$

o_{j} = \frac{1}{Ω} e^{z_{j}}, Ω = \sum_{i} e^{z_{i}} ⟹ \log o_{j} = z_{j} - \log Ω

$o_j=\tfrac{1}{\Omega}e^{z_j} \,,\, \Omega=\sum_ie^{z_i} \implies \log o_j=z_j-\log\Omega$

\frac{\partial \log o_{j}}{\partial z_{k}} = δ_{j k} - \frac{1}{Ω} \frac{\partial Ω}{\partial z_{k}}

$\frac{\partial \log o_j}{\partial z_k}=\delta_{jk}-\frac{1}{\Omega}\frac{\partial\Omega}{\partial z_k}$

δ_{j k}

$\delta_{jk}$

\frac{\partial Ω}{\partial z_{k}} = \sum_{i} e^{z_{i}} δ_{i k} = e^{z_{k}}

$\frac{\partial\Omega}{\partial z_k}=\sum_ie^{z_i}\delta_{ik}=e^{z_k}$

\frac{\partial \log o_{j}}{\partial z_{k}} = δ_{j k} - o_{k}

$\frac{\partial \log o_j}{\partial z_k}=\delta_{jk}-o_k$

\frac{\partial o_{j}}{\partial z_{k}} = o_{j} (δ_{j k} - o_{k})

$\frac{\partial o_j}{\partial z_k}=o_j(\delta_{jk}-o_k)$

z_{k}

$z_k$ composant de , qui donne le terme ( seulement lorsque ).

z

$z$

δ_{j k}

$\delta_{jk}$

= 1

$=1$

k = j

$k=j$

Donc, le gradient de par rapport à est alors où est constant (pour un vecteur donné ). $E$ $z$

\frac{\partial E}{\partial z_{k}} = \sum_{j} t_{j} (o_{k} - δ_{j k}) = o_{k} (\sum_{j} t_{j}) - t_{k} ⟹ \frac{\partial E}{\partial z_{k}} = o_{k} τ - t_{k}

$\frac{\partial E}{\partial z_k}=\sum_jt_j(o_k-\delta_{jk})=o_k\left(\sum_jt_j\right)-t_k \implies \frac{\partial E}{\partial z_k}=o_k\tau-t_k$

τ = \sum_{j} t_{j}

$\tau=\sum_jt_j$

t

$t$

Cela montre une première différence par rapport à votre résultat: le ne multiplie plus . Notez que dans le cas typique où est "one-hot", nous avons (comme indiqué dans votre premier lien). $t_k$ $o_k$ $t$ $\tau=1$

Une deuxième incohérence, si je comprends bien, est que le " " qui est entré dans semble pas être le " " qui sort du softmax. Je penserais qu'il est plus logique que cela soit réellement "plus en arrière" dans l'architecture de réseau? $o$ $z$ $o$

En appelant ce vecteur , nous avons alors $y$

z_{k} = \sum_{i} w_{i k} y_{i} + b_{k} ⟹ \frac{\partial z_{k}}{\partial w_{p q}} = \sum_{i} y_{i} \frac{\partial w_{i k}}{\partial w_{p q}} = \sum_{i} y_{i} δ_{i p} δ_{k q} = δ_{k q} y_{p}

$z_k=\sum_iw_{ik}y_i+b_k \implies \frac{\partial z_k}{\partial w_{pq}}=\sum_iy_i\frac{\partial w_{ik}}{\partial w_{pq}}=\sum_iy_i\delta_{ip}\delta_{kq}=\delta_{kq}y_p$

Enfin, pour obtenir le gradient de par rapport à la matrice de pondération , nous utilisons la règle de chaîne donnant l'expression finale (en supposant que -hot , c'est-à-dire ) où est l'entrée du niveau le plus bas (de votre exemple). $E$ $w$

\frac{\partial E}{\partial w_{p q}} = \sum_{k} \frac{\partial E}{\partial z_{k}} \frac{\partial z_{k}}{\partial w_{p q}} = \sum_{k} (o_{k} τ - t_{k}) δ_{k q} y_{p} = y_{p} (o_{q} τ - t_{q})

$\frac{\partial E}{\partial w_{pq}}=\sum_k\frac{\partial E}{\partial z_k}\frac{\partial z_k}{\partial w_{pq}}=\sum_k(o_k\tau-t_k)\delta_{kq}y_p=y_p(o_q\tau-t_q)$

t

$t$

τ = 1

$\tau=1$

\frac{\partial E}{\partial w_{i j}} = y_{i} (o_{j} - t_{j})

$\frac{\partial E}{\partial w_{ij}}=y_i(o_j-t_j)$

y

$y$

Cela montre donc une deuxième différence par rapport à votre résultat: le " " devrait probablement provenir du niveau inférieur à , que j’appelle , plutôt que du niveau supérieur à (qui est ). $o_i$ $z$ $y$ $z$ $o$

Espérons que cela aide. Ce résultat semble-t-il plus cohérent?

Mise à jour: en réponse à une requête de l'OP dans les commentaires, voici une extension de la première étape. Tout d'abord, notez que la règle de la chaîne de vecteurs nécessite des sommations (voir ici ). Deuxièmement, pour être sûr d'obtenir tous les composants du dégradé, vous devez toujours introduire un nouvel indice en lettre pour le composant dans le dénominateur de la dérivée partielle. Donc, pour écrire complètement le dégradé avec la règle de chaîne complète, nous avons et donc
$\frac{\partial E}{\partial w_{p q}} = \sum_{i} \frac{\partial E}{\partial o_{i}} \frac{\partial o_{i}}{\partial w_{p q}}$ $\frac{\partial E}{\partial w_{pq}}=\sum_i \frac{\partial E}{\partial o_i}\frac{\partial o_i}{\partial w_{pq}}$ $\frac{\partial o_{i}}{\partial w_{p q}} = \sum_{k} \frac{\partial o_{i}}{\partial z_{k}} \frac{\partial z_{k}}{\partial w_{p q}}$ $\frac{\partial o_i}{\partial w_{pq}}=\sum_k \frac{\partial o_i}{\partial z_k}\frac{\partial z_k}{\partial w_{pq}}$ $\frac{\partial E}{\partial w_{p q}} = \sum_{i} [\frac{\partial E}{\partial o_{i}} (\sum_{k} \frac{\partial o_{i}}{\partial z_{k}} \frac{\partial z_{k}}{\partial w_{p q}})]$ $\frac{\partial E}{\partial w_{pq}}=\sum_i \left[ \frac{\partial E}{\partial o_i}\left(\sum_k \frac{\partial o_i}{\partial z_k}\frac{\partial z_k}{\partial w_{pq}}\right) \right]$ En pratique, les sommations complètes diminuent, car vous obtenez beaucoup de termes . Bien que cela implique un grand nombre de sommations et d’indices "extra", l’utilisation de la règle de chaîne complète vous garantit de toujours obtenir le résultat correct. $\delta_{ab}$

— GeoMatt22
source

Je ne suis pas certain de la façon dont la communauté "Backprop / AutoDiff" résoud ces problèmes, mais je trouve que chaque fois que j'essaie de prendre des raccourcis, je suis susceptible de faire des erreurs. Je termine donc comme ici, écrivant tout en termes de sommations avec un indice complet, et introduisant toujours de nouveaux indices pour chaque dérivé. (Semblable à ma réponse ici ... j'espère au moins donner les bons résultats à la fin!)

— GeoMatt22

Personnellement, je trouve que tout ce que vous écrivez rend le suivi beaucoup plus facile. Les résultats me semblent corrects.

— Jenkar

Bien que j'essaie encore de bien comprendre chacune de vos étapes, j'ai obtenu de précieuses informations qui m'ont aidé à avoir une vue d'ensemble. Je suppose que je dois en savoir plus sur les dérivations et les sommes. Mais prenant en compte votre avis de tenir compte de la sommation dans E, je suis arrivé à ceci:

— micha

pour deux sorties et avec l'erreur d'entropie croisée est Le dérivé est alors qui est conforme à votre résultat ... compte tenu du fait que vous n'aviez pas le signe moins avant l'erreur

o_{j_{1}} = \frac{e^{z_{j_{1}}}}{Ω}

$o_{j_1}=\frac{e^{z_{j_1}}}{\Omega}$

o_{j_{1}} = \frac{e^{z_{j_{1}}}}{Ω}

$o_{j_1}=\frac{e^{z_{j_1}}}{\Omega}$

Ω = e^{z_{j_{1}}} + e^{z_{j_{2}}}

$\Omega=e^{z_{j_1}}+e^{z_{j_2}}$

E = - (t_{1} l o g o_{j_{1}} + t_{2} l o g o_{j_{2}}) = - (t_{1} (z_{j_{1}} - l o g (Ω)) + t_{2} (z_{j_{2}} - l o g (Ω)))

$E=-(t_1 log o_{j_1}+t_2 log o_{j_2})=-(t_1(z_{j_1}-log(\Omega))+t_2(z_{j_2}-log(\Omega)))$

\frac{\partial E}{\partial (z_{j_{1}}} = - (t_{1} - t_{1} \frac{e^{z_{j_{1}}}}{Ω} - t_{2} \frac{e^{z_{j_{2}}}}{Ω}) = - t_{1} + o_{j_{1}} (t_{1} + t_{2})

$\frac{\partial E}{\partial (z_{j_1}}=-(t_1-t_1 \frac{e^{z_{j_1}}}{\Omega}-t_2 \frac{e^{z_{j_2}}}{\Omega})=-t_1+o_{j_1}(t_1+t_2)$

— micha

Mais une autre question que j'ai est la suivante: Au lieu de ce qui correspond généralement à ce que vous avez présenté avec la rétropropagation, vous avez calculé: comme pour annuler le . Pourquoi ce chemin mène-t-il au bon résultat?

\frac{\partial E}{\partial w_{i j}} = \frac{\partial E}{\partial o_{j}} \frac{\partial o_{j}}{\partial z_{j}} \frac{\partial z_{j}}{\partial w_{i j}}

$\frac{\partial E} {\partial w_{ij}}=\frac{\partial E} {\partial o_j} \frac{\partial o_j} {\partial z_{j}} \frac{\partial z_j} {\partial w_{ij}}$

\frac{\partial E}{\partial w_{i j}} = \frac{\partial E}{\partial z_{j}} \frac{\partial z_{j}}{\partial w_{i j}}

$\frac{\partial E} {\partial w_{ij}}=\frac{\partial E} {\partial z_{j}} \frac{\partial z_j} {\partial w_{ij}}$

\partial o_{j}

$\partial o_j$

— Micha

12

Bien que la réponse de @ GeoMatt22 soit correcte, j'ai personnellement trouvé très utile de réduire le problème à un exemple en jouet et de dessiner une image:

J'ai ensuite défini les opérations que chaque nœud calculait, en traitant les et les comme des entrées dans un "réseau" ( est un vecteur one-hot représentant le libellé de classe du point de données): $h$ $w$ $\mathbf{t}$

L = - t_{1} \log o_{1} - t_{2} \log o_{2}

$L=-t_1\log o_1 -t_2\log o_2$

o_{1} = \frac{\exp (y_{1})}{\exp (y_{1}) + \exp (y_{2})}

$o_1 = \frac{\exp(y_1)}{\exp(y_1) + \exp(y_2)}$

o_{2} = \frac{\exp (y_{2})}{\exp (y_{1}) + \exp (y_{2})}

$o_2 = \frac{\exp(y_2)}{\exp(y_1) + \exp(y_2)}$

y_{1} = w_{11} h_{1} + w_{21} h_{2} + w_{31} h_{3}

$y_1 = w_{11}h_1 + w_{21}h_2 + w_{31}h_3$

y_{2} = w_{12} h_{1} + w_{22} h_{2} + w_{32} h_{3}

$y_2 = w_{12}h_1 + w_{22}h_2 + w_{32}h_3$

Supposons que je veuille calculer la dérivée de la perte par rapport à . Je peux simplement utiliser ma photo pour retracer le chemin qui mène de la perte au poids qui m’intéresse (supprimez la deuxième colonne de pour plus de clarté): $w_{21}$ $w$

Ensuite, je peux simplement calculer les dérivés souhaités. Notez qu'il existe deux chemins via qui mènent à . Je dois donc additionner les dérivées qui les parcourent. $y_1$ $w_{21}$

\frac{\partial L}{\partial o_{1}} = - \frac{t_{1}}{o_{1}}

$\frac{\partial L}{\partial o_1} = -\frac{t_1}{o_1}$

\frac{\partial L}{\partial o_{2}} = - \frac{t_{2}}{o_{2}}

$\frac{\partial L}{\partial o_2} = -\frac{t_2}{o_2}$

\frac{\partial o_{1}}{\partial y_{1}} = \frac{\exp (y_{1})}{\exp (y_{1}) + \exp (y_{2})} - {(\frac{\exp (y_{1})}{\exp (y_{1}) + \exp (y_{2})})}^{2} = o_{1} (1 - o_{1})

$\frac{\partial o_1}{\partial y_1} = \frac{\exp(y_1)}{\exp(y_1) + \exp(y_2)} - \left(\frac{\exp(y_1)}{\exp(y_1) + \exp(y_2)}\right)^2 = o_1(1 - o_1)$

\frac{\partial o_{2}}{\partial y_{1}} = \frac{- \exp (y_{2}) \exp (y_{1})}{(\exp (y_{1}) + \exp (y_{2}))^{2}} = - o_{2} o_{1}

$\frac{\partial o_2}{\partial y_1} = \frac{-\exp(y_2)\exp(y_1)}{(\exp(y_1) + \exp(y_2))^2} = -o_2o_1$

\frac{\partial y_{1}}{\partial w_{21}} = h_{2}

$\frac{\partial y_1}{\partial w_{21}} = h_2$

Enfin, associez la règle de chaîne:

\begin{aligned} \frac{\partial L}{\partial w_{21}} & = \frac{\partial L}{\partial o_{1}} \frac{\partial o_{1}}{\partial y_{1}} \frac{\partial y_{1}}{\partial w_{21}} + \frac{\partial L}{\partial o_{2}} \frac{\partial o_{2}}{\partial y_{1}} \frac{\partial y_{1}}{\partial w_{21}} \\ = \frac{- t_{1}}{o_{1}} [o_{1} (1 - o_{1})] h_{2} + \frac{- t_{2}}{o_{2}} (- o_{2} o_{1}) h_{2} \\ = h_{2} (t_{2} o_{1} - t_{1} + t_{1} o_{1}) \\ = h_{2} (o_{1} (t_{1} + t_{2}) - t_{1}) \\ = h_{2} (o_{1} - t_{1}) \end{aligned}

$\begin{align} \frac{\partial L}{\partial w_{21}} &= \frac{\partial L}{\partial o_1}\frac{\partial o_1}{\partial y_1}\frac{\partial y_1}{\partial w_{21}} + \frac{\partial L}{\partial o_2}\frac{\partial o_2}{\partial y_1}\frac{\partial y_1}{\partial w_{21}}\\ &= \frac{-t_1}{o_1}[o_1(1 - o_1)]h_2 + \frac{-t_2}{o_2}(-o_2 o_1)h_2\\ &= h_2(t_2 o_1 - t_1 + t_1 o_1)\\ &= h_2(o_1(t_1 + t_2) - t_1)\\ &= h_2(o_1 - t_1) \end{align}$

Notez que dans la dernière étape, car le vecteur est un vecteur one-hot. $t_1 + t_2 = 1$ $\mathbf{t}$

— Vivek Subramanian
source

C'est ce qui a finalement été éclairci pour moi! Excellente et élégante explication !!!!

— SantoshGupta7

2

Je suis heureux que vous ayez apprécié et tiré profit de la lecture de mon post! Cela m'a aussi été utile de l'écrire et de l'expliquer.

— Vivek Subramanian

@VivekSubramanian devrait être place?

= \frac{- t_{1}}{o_{1}} [o_{1} (1 - o_{1})] h_{2} + \frac{- t_{2}}{o_{2}} (- o_{2} o_{1}) h_{2}

$= \frac{-t_1}{o_1}[o_1(1 - o_1)]h_2 + \frac{-t_2}{o_2}(-o_2 o_1)h_2\\$

— koryakinp

Tu as raison - c'était une faute de frappe! Je vais faire le changement.

— Vivek Subramanian

Ce que je ne comprends pas, c’est que vous attribuez également des logits (scores non échelonnés) à certains neurones. (o sont des logits à valeurs variables (prévisions) et y est des logits dans votre cas). Cependant, ce n'est pas le cas normalement, n'est-ce pas? Regardez cette image (o_out1 est une prédiction et o_in1 est un logit) alors comment est-il possible dans ce cas, comment trouver la dérivée partielle de o2 par rapport à y1?

— ARAT

6

Au lieu de je souhaite une lettre dont la majuscule est distincte de sa minuscule. Alors laissez-moi substituer . également la variable pour désigner le du calque précédent. $\{o_i\},\,$ $\{y_i\}$ $\{p_i\}$ $\{o_i\}$

Laissez la matrice diagonale dont la diagonale est égale à vecteur , ie En utilisant cette nouvelle variable de matrice et le produit intérieur Frobenius nous pouvons calculer le gradient de WRT . $Y$ $y$

Y = D i a g (y)

$Y={\rm Diag}(y)$

E

$E$

W

$W$

\begin{aligned} z & = W p + b & d z = d W p \\ y & = s o f t m a x (z) & d y = (Y - y y^{T}) d z \\ E & = - t : \log (y) & d E = - t : Y^{- 1} d y \\ d E & = - t : Y^{- 1} (Y - y y^{T}) d z \\ = - t : (I - 1 y^{T}) d z \\ = - t : (I - 1 y^{T}) d W p \\ = (y 1^{T} - I) t p^{T} : d W \\ = ((1^{T} t) y p^{T} - t p^{T}) : d W \\ \frac{\partial E}{\partial W} & = (1^{T} t) y p^{T} - t p^{T} \end{aligned}

$\eqalign{ z &= Wp+b &dz= dWp \cr y &= {\rm softmax}(z) &dy = (Y-yy^T)\,dz \cr E &= -t:\log(y) &dE = -t:Y^{-1}dy \cr\cr dE &= -t:Y^{-1}(Y-yy^T)\,dz \cr &= -t:(I-1y^T)\,dz \cr &= -t:(I-1y^T)\,dW\,p \cr &= (y1^T-I)tp^T:dW \cr &= ((1^Tt)yp^T - tp^T):dW \cr\cr \frac{\partial E}{\partial W} &= (1^Tt)yp^T - tp^T \cr }$

— franc
source

6

Voici l'une des notes les plus propres et les mieux écrites que je suis tombées sur le Web et qui explique le "calcul des dérivées dans l'algorithme de rétropropagation avec une fonction de perte d'entropie croisée" .

— yottabytt
source

Dans le pdf donné, comment l'équation 22 est-elle devenue l'équation 23? Comme dans comment la sommation (k! = I) a-t-elle obtenu un signe négatif. Ne devrait-il pas recevoir un signe positif? Comme Summation(Fn)(For All K) = Fn(k=i) + Summation(Fn)(k!=i)devrait se passer selon ma compréhension.

— Faizan

1

Voici un lien expliquant le softmax et son dérivé.

Il explique la raison d'utiliser i = j et i! = J.

— S. Muhammad H. Mustafa
source

Il est recommandé de fournir une réponse autonome minimale, au cas où ce lien serait rompu à l'avenir. Sinon, cela pourrait ne plus aider les autres utilisateurs à l'avenir.

— luchonacho

0

D'autres réponses ont fourni la manière correcte de calculer la dérivée, mais elles ne précisent pas où vous vous êtes trompé. En fait, est toujours 1 dans votre dernière équation, car vous avez supposé que prend ce nœud de la cible 1 dans votre sortie; d’autres nœuds ont différentes formes de fonction de probabilité, conduisant ainsi à différentes formes de dérivées, vous devez donc maintenant comprendre pourquoi d’autres personnes ont traité et différemment. $t_j$ $o_j$ $o_j$ $i=j$ $i\neq j$

— kuixiong
source