Quelle est la dérivée de la fonction d'activation ReLU?

Quelle est la dérivée de la fonction d'activation ReLU définie comme:

R e L U (x) = m a x (0, x)

$\mathrm{ReLU}(x) = \mathrm{max}(0, x)$

Qu'en est-il du cas particulier où il y a une discontinuité dans la fonction à ? $x=0$

self-study neural-networks

— Tom Hale
source

Le dérivé est:

f (x) = {\begin{cases} 0 & if x < 0 \\ 1 & if x > 0 \end{cases}

$f(x)= \begin{cases} 0 & \text{if } x < 0 \\ 1 & \text{if } x > 0 \\ \end{cases}$

Et non défini dans . $x=0$

La raison pour laquelle elle n'est pas définie à est que ses dérivées gauche et droite ne sont pas égales. $x=0$

— Jim
source

0

$0$

1

$1$

x = 0

$x=0$

La convention est que drdx = 1 (x> 0)

— neuroguy123

f (0) = \frac{1}{2}

$f(0) = \frac{1}{2}$

@TomHale au fait, voir la réponse de Nouroz Rahman sur quora.com/… : "[...] À mon avis, dans les fonctions de bibliothèque intégrées (par exemple tf.nn.relu():), la dérivée à x = 0 est prise à zéro pour garantir une plus faible matrice ... "

— Jim