Différenciation d'entropie croisée

J'ai essayé de créer un programme pour former des réseaux neuronaux sur mon ordinateur. Pour le réseau en question, j'ai décidé d'utiliser la fonction Cross Entropy Error:

E = - \sum_{j} t_{j} \ln o_{j}

$E = -\sum_jt_j\ln o_j$

Où est la sortie cible pour le neurone , et est la sortie de ce neurone, essayant de prédire . $t_j$ $j$ $o_j$ $t_j$

Je veux savoir ce que est pour certains Neuron . Mon intuition (plus ma connaissance limitée du calcul) me porte à croire que cette valeur devrait être . $\frac{\delta E}{\delta o_j}$ $j$ $-\frac{t_j}{o_j}$

Cependant, cela ne semble pas être correct. L'entropie croisée est souvent utilisée en tandem avec la fonction softmax, telle que où z est l'ensemble des entrées de tous les neurones de la couche softmax ( voir ici ).

o_{j} = \frac{e^{z_{j}}}{\sum_{k} e^{z_{k}}}

$o_j = \frac{e^{z_j}}{\sum_ke^{z_k}}$

De ce fichier , je suppose que:

\frac{δ o_{j}}{δ z_{j}} = o_{j} (1 - o_{j})

$\frac{\delta o_j}{\delta z_j} = o_j(1 - o_j)$

Selon cette question : Mais cela contredit ma supposition précédente de . Pourquoi?

\frac{δ E}{δ z_{j}} = t_{j} - o_{j}

$\frac{\delta E}{\delta z_j} = t_j - o_j$

\frac{δ E}{δ o_{j}}

$\frac{\delta E}{\delta o_j}$

\frac{δ E_{j}}{δ z_{j}} = \frac{δ E_{j}}{δ o_{j}} \frac{δ o_{j}}{δ z_{j}}

$\frac{\delta E_j}{\delta z_j}=\frac{\delta E_j}{\delta o_j}\frac{\delta o_j}{\delta z_j}$

\Rightarrow \frac{δ E_{j}}{δ o_{j}} = \frac{δ E_{j}}{δ z_{j}} \div \frac{δ o_{j}}{δ z_{j}}

$\Rightarrow\frac{\delta E_j}{\delta o_j}=\frac{\delta E_j}{\delta z_j}\div\frac{\delta o_j}{\delta z_j}$

= \frac{t_{j} - o_{j}}{o_{j} (1 - o_{j})}

$= \frac{t_j-o_j}{o_j(1-o_j)}$ en contradiction directe avec mon précédent solution de Alors quelle (le cas échéant) solution de est correcte, et pourquoi?

- \frac{t_{j}}{o_{j}}

$-\frac{t_j}{o_j}$

\frac{δ E_{j}}{δ o_{j}}

$\frac{\delta E_j}{\delta o_j}$

— Geno Racklin Asher
source

Votre est correct, mais doit être lorsque , en utilisant les résultats donnés dans le message, nous avons lorsque donc la sommation est $\frac{\partial E}{\partial o_j}$ $\frac{\partial E}{\partial z_j}$

\frac{\partial E}{\partial z_{j}} = \sum_{i} \frac{\partial E}{\partial o_{i}} \frac{\partial o_{i}}{\partial z_{j}}

$\frac{\partial E}{\partial z_j}=\sum_i\frac{\partial E}{\partial o_i}\frac{\partial o_i}{\partial z_j}$

i = j

$i=j$

\frac{\partial E}{\partial o_{j}} \frac{\partial o_{j}}{\partial z_{j}} = - \frac{t_{j}}{o_{j}} o_{j} (1 - o_{j}) = t_{j} o_{j} - t_{j}

$\frac{\partial E}{\partial o_j}\frac{\partial o_j}{\partial z_j}=-\frac{t_j}{o_j}o_j(1-o_j)=t_jo_j-t_j$

i \neq j

$i\neq j$

\frac{\partial o_{je}}{\partial z_{j}} = \frac{\partial \frac{e^{z_{je}}}{\sum_{k} e^{z_{k}}}}{\partial z_{j}} = - \frac{e^{z_{je}}}{(\sum_{k} e^{z_{k}})^{2}} e^{z_{j}} = - o_{je} o_{j}

$\frac{\partial o_i}{\partial z_j}=\frac{\partial \frac{e^{z_i}}{\sum_ke^{z_k}}}{\partial z_j}=-\frac{e^{z_i}}{(\sum_ke^{z_k})^2}e^{z_j}=-o_io_j$

\frac{\partial E}{\partial o_{je}} \frac{\partial o_{je}}{\partial z_{j}} = - \frac{t_{je}}{o_{je}} (- o_{je} o_{j}) = t_{je} o_{j}

$\frac{\partial E}{\partial o_i}\frac{\partial o_i}{\partial z_j}=-\frac{t_i}{o_i}(-o_io_j)=t_io_j$

\frac{\partial E}{\partial z_{j}} = \sum_{je} \frac{\partial E}{\partial o_{je}} \frac{\partial o_{je}}{\partial z_{j}} = \sum_{je} t_{je} o_{j} - t_{j}

$\frac{\partial E}{\partial z_j}=\sum_i\frac{\partial E}{\partial o_i}\frac{\partial o_i}{\partial z_j}=\sum_it_io_j-t_j$ puisque est un - vecteur chaud, donc voir aussi cette question .

t

$t$

\sum_{i} t_{i} = 1

$\sum_it_i=1$

\frac{\partial E}{\partial z_{j}} = o_{j} - t_{j}

$\frac{\partial E}{\partial z_j}=o_j-t_j$

— dontloo
source