Questions marquées «relu»

Que se passe-t-il lorsque je mélange des fonctions d'activation?

Il existe plusieurs fonctions d'activation, telles que ReLU, sigmoid ou tanhtanh\tanh . Que se passe-t-il lorsque je mélange des fonctions d'activation? J'ai récemment découvert que Google a développé la fonction d'activation Swish qui est (x * sigmoïde). En modifiant la fonction d'activation, peut-il augmenter la précision sur un petit problème …

10 neural-networks machine-learning activation-function relu sigmoid

Quels sont les avantages de ReLU par rapport à Leaky ReLU et Parametric ReLU (le cas échéant)?

Je pense que l'avantage d'utiliser Leaky ReLU au lieu de ReLU est que de cette façon, nous ne pouvons pas avoir de gradient de fuite. La ReLU paramétrique a le même avantage, à la seule différence que la pente de la sortie pour les entrées négatives est un paramètre apprenable …

10 neural-networks activation-function relu

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.

Licensed under cc by-sa 3.0 with attribution required.