Questions marquées «activation-function»


2
Qu'est-ce que l'activation GELU?
Je parcourais le papier BERT qui utilise GELU (Gaussian Error Linear Unit) qui énonce l'équation comme qui à son tour est approximativement àG EL U( x ) = x P( X≤ x ) = x Φ ( x ) .gELU(X)=XP(X≤X)=XΦ(X). GELU(x) = xP(X ≤ x) = xΦ(x).0.5x(1+tanh[2/π−−−√(x+0.044715x3)])0,5X(1+tunenh[2/π(X+0,044715X3)])0.5x(1 + tanh[\sqrt{ 2/π}(x …



3
Comment utiliser LeakyRelu comme fonction d'activation dans la séquence DNN dans les keras? Quand il fonctionne mieux que Relu?
Comment utilisez-vous LeakyRelu comme fonction d'activation dans la séquence DNN en keras? Si je veux écrire quelque chose de similaire à: model = Sequential() model.add(Dense(90, activation='LeakyRelu')) Quelle est la solution? Mettez LeakyRelu similaire à Relu? La deuxième question est: quel est le meilleur réglage général pour régler les paramètres de …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.