Science des données activation-function

2

Pourquoi ReLU est-il utilisé comme fonction d'activation?

Les fonctions d'activation sont utilisées pour introduire des non-linéarités dans la sortie linéaire du type w * x + bdans un réseau neuronal. Ce que je peux comprendre intuitivement pour les fonctions d'activation comme sigmoïde. Je comprends les avantages de ReLU, qui évite les neurones morts pendant la rétropropagation. Cependant, …

19 machine-learning neural-network deep-learning activation-function

2

Qu'est-ce que l'activation GELU?

Je parcourais le papier BERT qui utilise GELU (Gaussian Error Linear Unit) qui énonce l'équation comme qui à son tour est approximativement àG EL U( x ) = x P( X≤ x ) = x Φ ( x ) .gELU(X)=XP(X≤X)=XΦ(X). GELU(x) = xP(X ≤ x) = xΦ(x).0.5x(1+tanh[2/π−−−√(x+0.044715x3)])0,5X(1+tunenh[2/π(X+0,044715X3)])0.5x(1 + tanh[\sqrt{ 2/π}(x …

18 activation-function bert mathematics

1

Pourquoi ReLU est meilleur que les autres fonctions d'activation

Ici, la réponse se réfère à des gradients de fuite et d'explosion qui ont été sigmoiddes fonctions d'activation similaires, mais, je suppose, Reluont un inconvénient et c'est sa valeur attendue. il n'y a pas de limitation pour la sortie du Reluet donc sa valeur attendue n'est pas nulle. Je me …

17 machine-learning neural-network deep-learning gradient-descent activation-function

1

Différence des fonctions d'activation dans les réseaux de neurones en général

J'ai étudié les types de fonctions d'activation pour les réseaux de neurones. Les fonctions elles-mêmes sont assez simples, mais la différence d'application n'est pas entièrement claire. Il est raisonnable de différencier les fonctions de type logique et linéaire, en fonction de la sortie binaire / continue souhaitée, mais quel est …

15 neural-network activation-function

3

Comment utiliser LeakyRelu comme fonction d'activation dans la séquence DNN dans les keras? Quand il fonctionne mieux que Relu?

Comment utilisez-vous LeakyRelu comme fonction d'activation dans la séquence DNN en keras? Si je veux écrire quelque chose de similaire à: model = Sequential() model.add(Dense(90, activation='LeakyRelu')) Quelle est la solution? Mettez LeakyRelu similaire à Relu? La deuxième question est: quel est le meilleur réglage général pour régler les paramètres de …

14 deep-learning keras activation-function

Questions marquées «activation-function»