Comment expliquer pourquoi la normalisation des lots doit être effectuée avec un certain soin?

Je lisais le document de normalisation par lots [1] et il y avait une section où se trouve un exemple, essayant de montrer pourquoi la normalisation doit être effectuée avec soin. Honnêtement, je ne peux pas comprendre comment l'exemple fonctionne et je suis vraiment très curieux de comprendre autant que possible le papier. Permettez-moi d'abord de le citer ici:

Par exemple, considérons une couche à l'entrée u qui ajoute le biais appris b, et normalise le résultat en soustrayant la moyenne de l'activation calculée sur les données de $\hat{x} = x − E[x]$ où $x=u+b, X =\{x_1...N \}$ est l'ensemble des valeurs de $x$ sur l'ensemble d'apprentissage, et $E[x] = \sum^N_{i=1} x_i$ . Si une étape de descente de gradient ignore la dépendance de sur , alors elle mettra à jour , où $E[x]$ $b$ $b ← b + \Delta > b$ . Alors. Ainsi, la combinaison de la mise à jour deet du changement ultérieur de normalisation n'a conduit à aucun changement dans la sortie de la couche ni, par conséquent, à la perte. $\Delta b \propto -\frac{\partial l}{\partial \hat{x}}$ $u+(b+\Delta b)−E[u+(b+\Delta b)] = u+b−E[u+b]$ $b$

Je pense que je comprends le message, que si l'on ne fait pas la normalisation correctement, cela peut être mauvais. Je ne sais simplement pas comment l'exemple qu'ils utilisent dépeint cela.

Je suis conscient qu'il est difficile d'aider quelqu'un s'il n'est pas plus précis sur ce qui le rend confus. Je vais donc fournir dans la section suivante les choses qui me déroutent dans leur explication.

Je pense que la plupart de mes confusions peuvent être notées, je vais donc clarifier.

Tout d'abord, je pense que l'une des choses qui me déroute beaucoup, c'est ce que cela signifie pour les auteurs d'avoir une unité dans le réseau et ce qu'est une activation. Habituellement, je pense à une activation comme:

x^{(l)} = a^{(l)} = θ (z^{(l)}) = θ (⟨ w^{(l)}, x^{(l - 1)} ⟩ + b^{(l)})

$x^{(l)} = a^{(l)} = \theta(z^{(l)}) = \theta( \langle w^{(l)}, x^{(l-1)} \rangle + b^{(l)})$

où est les vecteurs d'entités brutes de la première couche d'entrée. $x^{(0)} = a^{(0)} = x$

De plus, je pense que l'une des premières choses qui m'embrouille (pour la raison précédente) est le scénario qu'ils essaient d'expliquer. Ça dit:

normalise le résultat de la soustraction de la moyenne de l'activation calculé sur les données où $\hat{x} = x − E[x]$ $x=u+b$

Je pense que ce qu'ils essaient de dire, c'est qu'au lieu d'utiliser les activations calculées par la passe avant, on effectue une sorte de "normalisation" en soustrayant l'activation moyenne: $x^{(l)} = a^{(l)}$

{\bar{x}}^{l} = {\bar{a}}^{l} = \frac{1}{N} \sum_{i = 1}^{N} {\bar{a}}^{l} = \frac{1}{N} \sum_{i = 1}^{N} {\bar{x}}^{l}

$\bar{x}^{l} = \bar{a}^{l} = \frac{1}{N} \sum^{N}_{i=1} \bar{a}^{l} = \frac{1}{N} \sum^{N}_{i=1} \bar{x}^{l}$

puis transmet cela à l'algorithme de rétropropagation. Ou du moins c'est ce qui aurait du sens pour moi.

À ce sujet, je suppose que ce qu'ils appellent est peut-être ? C'est ce que je devinerais parce qu'ils l'appellent "entrée" et ont l'équation (je suppose qu'ils utilisent l'unité d'identité / d'activation linéaire pour leur réseau neuronal? Peut-être). $u$ $x^{(l)}$ $x = u + b$

Pour plus me embrouiller, ils définissent comme quelque chose de proportionnel à la dérivée partielle, mais la dérivée partielle est calculé par rapport à , ce qui me semble vraiment bizarre. Habituellement, les dérivées partielles lors de l'utilisation de la descente de gradient sont par rapport aux paramètres du réseau. Dans le cas d'un offset, j'aurais pensé: $\Delta b$ $\hat{x}$

Δ b^{(l)} \propto - \frac{\partial l}{\partial b^{(l)}}

$\Delta b^{(l)} \propto -\frac{\partial l}{\partial b^{(l)} }$

est plus logique que de prendre la dérivée de par rapport aux activations normalisées. Je tentais de comprendre pourquoi ils prendraient la dérivée par rapport à et je pensais que peut - être qu'ils se référaient aux deltas quand ils ont écrit $\hat{x}$ cargénéralementqui est la seule partie de l'algorithme avant-prop qui a une dérivée par rapport au pré-activation depuis l'équation de delta est: $\frac{ \partial l }{ \partial \hat{x} }$

δ_{j}^{(l)} = \frac{\partial L}{\partial z_{j}^{(l)}}

$\delta^{(l)}_j = \frac{\partial L}{\partial z^{(l)}_j}$

Une autre chose qui me déroute est:

Alors . $u + (b + \Delta b) - E[u + (b + \Delta b)] = u + b - E[u + b]$

ils ne disent pas vraiment ce qu'ils essaient de calculer dans l'équation ci-dessus mais je déduis qu'ils essaient de calculer l'activation normalisée mise à jour (pour la première couche?) après que soit mis à jour en ? Je ne sais pas si j'achète leur point car je pense que la bonne équation aurait dû être: $b$ $b + \Delta b$

\hat{x} = θ (u + (b + Δ b)) - E [θ (u + (b + Δ b))]

$\hat{x} = \theta( u + (b + \Delta b) ) - E[\theta( u + (b + \Delta b) )]$

$\Delta b$ $b$

Je ne sais pas si c'est la bonne compréhension mais j'ai réfléchi à leur exemple. Il semble que leur exemple n'ait pas d'unité d'activation non linéaire (utilise l'identité) et ils ne parlent que de la première couche d'entrée? Puisqu'ils ont omis beaucoup de détails et que la notation n'est pas très claire, je ne peux pas en déduire exactement de quoi ils parlent. Est-ce que quelqu'un sait comment exprimer cet exemple avec une notation qui exprime ce qui se passe à chaque couche? Est-ce que quelqu'un comprend ce qui se passe réellement avec cet exemple et veut partager sa sagesse avec moi?

[1]: Ioffe S. et Szegedy C. (2015),
«Batch Normalisation: Accelerating Deep Network Training by Reducing Internal Covariate Shift»,
Actes de la 32e Conférence internationale sur l'apprentissage automatique , Lille, France, 2015.
Journal of Machine Learning Recherche: W&CP volume 37

machine-learning neural-networks conv-neural-network

— Charlie Parker
source

Je pense que la nature de la notation de ce paragraphe est claire maintenant, mais le message qu'il essaie de transmettre et son objectif sont moins clairs.

— Charlie Parker

$E[x]$ $b$

Cependant, si ces modifications sont entrecoupées des étapes d'optimisation, alors l'étape de descente de gradient peut tenter de mettre à jour les paramètres d'une manière qui nécessite la mise à jour de la normalisation, ce qui réduit l'effet de l'étape de gradient.

Ils ont donc rendu l'étape de descente du gradient consciente de la normalisation de leur méthode.

Concernant vos questions

$u$ $x^{(l)}$

$u$ $u$ $b$

$\Delta b \propto -\frac{\partial l}{\partial b }$ est plus logique que de prendre la dérivée de par rapport aux activations normalisées.

$\hat{x}=x-E[x]=u+b-E[x]$ $E[x]$ $b$

\frac{\partial l}{\partial b} = \frac{\partial l}{\partial \hat{x}} \frac{\partial \hat{x}}{\partial b} = \frac{\partial l}{\partial \hat{x}},

$\frac{\partial l}{\partial b}=\frac{\partial l}{\partial \hat{x}}\frac{\partial \hat{x}}{\partial b} = \frac{\partial l}{\partial \hat{x}},$

Δ b \propto - \frac{\partial l}{\partial \hat{x}}

$\Delta b \propto -\frac{\partial l}{\partial \hat{x}}$

$u + (b + \Delta b) - E[u + (b + \Delta b)] = u + b - E[u + b]$ $b$ $b+\Delta b$

$\hat{x}$ $b$ $b+\Delta b$ $E[x]$ $b$

Il peut être utile de jeter un œil à certaines implémentations open source de normalisation par lots, par exemple dans Lasagne et Keras .

Il y a une autre question qui peut sembler liée, pourquoi prendre le gradient des moments (moyenne et variance) lors de l'utilisation de la normalisation par lots dans un réseau neuronal?

— dontloo
source

donc je suppose que leur point est qu'ils doivent informer GD de la mise à jour de la normalisation afin que la perte change lors de la mise à jour d'un biais? Ou quel est l'objectif central de ce paragraphe?

— Charlie Parker

@CharlieParker yep je suppose que oui, pour montrer qu'il y a une raison de mettre à jour GD au courant de la normalisation (IMO).

— dontloo

Est-ce que E [Δb] = Δb? Si oui, pourquoi?

— MichaelSB