1
Que se passe-t-il lorsque je mélange des fonctions d'activation?
Il existe plusieurs fonctions d'activation, telles que ReLU, sigmoid ou tanhtanh\tanh . Que se passe-t-il lorsque je mélange des fonctions d'activation? J'ai récemment découvert que Google a développé la fonction d'activation Swish qui est (x * sigmoïde). En modifiant la fonction d'activation, peut-il augmenter la précision sur un petit problème …