Pourquoi les fonctions d'activation non centrées sur zéro sont-elles un problème dans la rétropropagation?

J'ai lu ici ce qui suit:

Les sorties sigmoïdes ne sont pas centrées sur zéro . Cela n'est pas souhaitable car les neurones des couches ultérieures de traitement dans un réseau de neurones (plus à ce sujet bientôt) recevraient des données qui ne sont pas centrées sur zéro. Cela a des implications sur la dynamique pendant la descente du gradient, car si les données entrant dans un neurone sont toujours positives (par exemple élément par élément dans )), alors le gradient sur les poids pendant la rétropropagation deviendra soit tous soient positifs ou tous négatifs (selon le gradient de l'expression entière $x > 0$ $f = w^Tx + b$ $w$ $f$ ). Cela pourrait introduire une dynamique de zigzag indésirable dans les mises à jour de gradient pour les poids. Cependant, notez qu'une fois ces gradients ajoutés à un lot de données, la mise à jour finale des poids peut avoir des signes variables, ce qui atténue quelque peu ce problème. Par conséquent, ceci est un inconvénient mais il a des conséquences moins graves par rapport au problème d'activation saturé ci-dessus.

Pourquoi avoir tous les (élément par élément) conduirait-il à des gradients tout positifs ou tous négatifs sur ? $x>0$ $w$

neural-networks deep-learning backpropagation

— Amelio Vazquez-Reina
source

J'ai également eu exactement la même question en regardant des vidéos CS231n.

— subwaymatch

f = \sum w_{i} x_{i} + b

$f=\sum w_ix_i+b$

\frac{d f}{d w_{i}} = x_{i}

$\frac{df}{dw_i}=x_i$

\frac{d L}{d w_{i}} = \frac{d L}{d f} \frac{d f}{d w_{i}} = \frac{d L}{d f} x_{i}

$\frac{dL}{dw_i}=\frac{dL}{df}\frac{df}{dw_i}=\frac{dL}{df}x_i$

parce que , le gradient toujours le même signe que (tous positifs ou tous négatifs). $x_i>0$ $\dfrac{dL}{dw_i}$ $\dfrac{dL}{df}$

Mise à jour
Supposons qu'il existe deux paramètres et , si les gradients de deux dimensions sont toujours du même signe, cela signifie que nous ne pouvons que nous déplacer grossièrement en direction du nord-est ou du sud-ouest dans l'espace des paramètres. $w_1$ $w_2$

Si notre objectif se trouve être dans le nord-est, nous ne pouvons que nous déplacer en zigzag pour y arriver, tout comme le stationnement parallèle dans un espace étroit. (pardonne mon dessin)

Par conséquent, les fonctions d'activation entièrement positives ou négatives (relu, sigmoïde) peuvent être difficiles à optimiser en fonction du gradient. Pour résoudre ce problème, nous pouvons normaliser les données à l'avance pour qu'elles soient centrées sur le zéro comme dans la normalisation par lot / couche.

Une autre solution à laquelle je peux penser consiste à ajouter un terme de biais pour chaque entrée afin que la couche devienne Les gradients sont alors le signe ne dépendra pas uniquement de .

f = \sum w_{i} (x_{i} + b_{i}) .

$f=\sum w_i(x_i+b_i).$

\frac{d L}{d w_{i}} = \frac{d L}{d f} (x_{i} - b_{i})

$\frac{dL}{dw_i}=\frac{dL}{df}(x_i-b_i)$

x_{i}

$x_i$

— dontloo
source

Veuillez me corriger si je me trompe, mais la valeur de dL / df ne devrait-elle pas être transposée de x c'est-à-dire xT puisque nous utiliserions ici l'idée de Jacobin.

— chinmay

@chinmay désolé pour la réponse tardive, je pense que est le résultat de donc la valeur de dL / df ne dépend pas de x, et généralement est un scalaire, et sont des vecteurs 1d, donc dL / df devrait également être un scalaire, non?

f

$f$

w^{T} x + b

$w^Tx+b$

L

$L$

w

$w$

x

$x$

— dontloo

Oui, c'est une grosse faute de frappe de ma part. Je voulais dire df / dw .... mais je pense que cela dépend plus du vecteur x et si c'est un vecteur ligne ou un vecteur colonne

— chinmay

@dontloo désolé pour la réponse très tardive mais quel est le problème avec les dégradés ayant le même signe que ? Pourquoi est-ce une mauvaise chose?

d L / d f

$d L/d f$

— floyd

@floyd salut Je viens d'ajouter quelques mises à jour pour votre question

— dontloo