Différentes définitions de la fonction de perte d'entropie croisée

12

J'ai commencé à en apprendre davantage sur les réseaux de neurones avec le didacticiel neuromnetworksanddeeplearning dot com. En particulier dans le 3ème chapitre, il y a une section sur la fonction d'entropie croisée, et définit la perte d'entropie croisée comme:

$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - a^L_j))$

Cependant, à la lecture de l' introduction de Tensorflow , la perte d'entropie croisée est définie comme suit:

$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j)$ (en utilisant les mêmes symboles que ci-dessus)

Puis en cherchant autour de moi pour trouver ce qui se passait, j'ai trouvé un autre ensemble de notes: ( https://cs231n.github.io/linear-classify/#softmax-classifier ) qui utilise une définition complètement différente de la perte d'entropie croisée, bien que ceci temps pour un classificateur softmax plutôt que pour un réseau de neurones.

Quelqu'un peut-il m'expliquer ce qui se passe ici? Pourquoi y a-t-il des écarts entre les deux. quelles personnes définissent la perte d'entropie croisée? Y a-t-il juste un principe primordial?

— Reginald
source

Étroitement liés: stats.stackexchange.com/questions/260505/…

— Sycorax dit de rétablir Monica le

18

Ces trois définitions sont essentiellement les mêmes.

1) L' introduction Tensorflow ,

C = - \frac{1}{n} \sum_{x} \sum_{j} (y_{j} \ln a_{j}) .

$C = -\frac{1}{n} \sum\limits_x\sum\limits_{j} (y_j \ln a_j).$

2) Pour les classifications binaires , il devient et à cause des contraintes et , il peut être réécrit comme qui est le même que dans le 3ème chapitre . $j=2$

C = - \frac{1}{n} \sum_{x} (y_{1} \ln a_{1} + y_{2} \ln a_{2})

$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + y_2 \ln a_2)$

\sum_{j} a_{j} = 1

$\sum_ja_j=1$

\sum_{j} y_{j} = 1

$\sum_jy_j=1$

C = - \frac{1}{n} \sum_{x} (y_{1} \ln a_{1} + (1 - y_{1}) \ln (1 - a_{1}))

$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + (1-y_1) \ln (1-a_1))$

3) De plus, si est un vecteur unique (ce qui est généralement le cas pour les étiquettes de classification), étant le seul élément non nul, alors la perte d'entropie croisée de l'échantillon correspondant est $y$ $y_k$

C_{x} = - \sum_{j} (y_{j} \ln a_{j}) = - (0 + 0 + . . . + y_{k} \ln a_{k}) = - \ln a_{k} .

$C_x=-\sum\limits_{j} (y_j \ln a_j)=-(0+0+...+y_k\ln a_k)=-\ln a_k.$

Dans les notes cs231 , la perte d'entropie croisée d'un échantillon est donnée avec la normalisation softmax comme

C_{x} = - \ln (a_{k}) = - \ln (\frac{e^{f_{k}}}{\sum_{j} e^{f_{j}}}) .

$C_x=-\ln(a_k)=-\ln\left(\frac{e^{f_k}}{\sum_je^{f_j}}\right).$

— dontloo
source

0

Dans le troisième chapitre , l'équation (63) est l'entropie croisée appliquée à plusieurs sigmoïdes (qui peuvent ne pas correspondre à 1) tandis que dans l' introduction de Tensoflow, l'entropie croisée est calculée sur une couche de sortie softmax.

Comme expliqué par dontloo, les deux formules sont essentiellement équivalentes pour deux classes mais ce n'est pas lorsque plus de deux classes sont prises en compte. Softmax est logique pour les multiclasses avec des classes exclusives ( c'est- à- dire quand il n'y a qu'une seule étiquette par échantillon, qui permettent l'encodage à chaud des étiquettes) tandis que (plusieurs) sigmoids peuvent être utilisés pour décrire un problème multi-étiquettes (c'est-à-dire avec des échantillons qui sont peut-être positifs) pour plusieurs classes).

Voir également cette autre réponse dontloo .

— xiawi
source