Intelligence artificielle activation-function

2

Comment choisir une fonction d'activation?

Je choisis la fonction d'activation pour la couche de sortie en fonction de la sortie dont j'ai besoin et des propriétés de la fonction d'activation que je connais. Par exemple, je choisis la fonction sigmoïde lorsque je traite des probabilités, une ReLU lorsque je traite des valeurs positives et une …

13 neural-networks machine-learning math activation-function

1

Que se passe-t-il lorsque je mélange des fonctions d'activation?

Il existe plusieurs fonctions d'activation, telles que ReLU, sigmoid ou tanhtanh\tanh . Que se passe-t-il lorsque je mélange des fonctions d'activation? J'ai récemment découvert que Google a développé la fonction d'activation Swish qui est (x * sigmoïde). En modifiant la fonction d'activation, peut-il augmenter la précision sur un petit problème …

10 neural-networks machine-learning activation-function relu sigmoid

2

Que signifie l'activation d'un neurone dans un réseau neuronal?

Je suis juste tombé sur le concept de couverture neuronale, qui est le rapport des neurones activés et des neurones totaux dans un réseau neuronal. Mais qu'est-ce que cela signifie pour un neurone d'être "activé"? Je sais ce que sont les fonctions d'activation, mais que signifie être activé, par exemple …

10 neural-networks ai-basics concepts activation-function

1

Quels sont les avantages de ReLU par rapport à Leaky ReLU et Parametric ReLU (le cas échéant)?

Je pense que l'avantage d'utiliser Leaky ReLU au lieu de ReLU est que de cette façon, nous ne pouvons pas avoir de gradient de fuite. La ReLU paramétrique a le même avantage, à la seule différence que la pente de la sortie pour les entrées négatives est un paramètre apprenable …

10 neural-networks activation-function relu

Questions marquées «activation-function»