Existe-t-il un / des document (s) de référence donnant une liste complète des fonctions d’activation dans les réseaux de neurones ainsi que leurs avantages / inconvénients (et idéalement des indications vers des publications où elles ont réussi ou non)?

Je vais commencer à dresser une liste de ceux que j'ai appris jusqu'à présent. Comme @marcodena l'a dit, le pour et le contre sont plus difficiles, car il ne s'agit que d'heuristiques apprises en essayant ces choses, mais je pense au moins que la liste de ce qu'elles sont ne peut pas nuire.

Premièrement, je vais définir explicitement la notation afin d'éviter toute confusion:

Notation

Cette notation est extraite du livre de Neilsen .

Un réseau de neurones Feedforward est constitué de plusieurs couches de neurones connectées entre elles. Il prend une entrée, puis cette entrée "passe" par le réseau et le réseau de neurones renvoie un vecteur de sortie.

Plus formellement, appelez l'activation (ou sortie) du neurone dans la couche , où est l' élément dans le vecteur d'entrée.$a^i_j$$j^{th}$$i^{th}$$a^1_j$$j^{th}$

Ensuite, nous pouvons relier l'entrée de la couche suivante à la précédente via la relation suivante:

$$a^i_j = \sigma\bigg(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j\bigg)$$

où

• $\sigma$ est la fonction d'activation,
• $w^i_{jk}$ est le poids de la neurone dans le couche à la neurone dans le couche,$k^{th}$$(i-1)^{th}$$j^{th}$$i^{th}$
• $b^i_j$ est le biais du neurone dans la couche , et$j^{th}$$i^{th}$
• $a^i_j$ représente la valeur d'activation du neurone dans la couche .$j^{th}$$i^{th}$

Parfois, nous écrivons pour représenter , en d'autres termes, la valeur d'activation d'un neurone avant d'appliquer la fonction d'activation .$z^i_j$$\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j$

Pour une notation plus concise, nous pouvons écrire

$$a^i = \sigma(w^i \times a^{i-1} + b^i)$$

Pour utiliser cette formule pour calculer la sortie d’un réseau à anticipation pour une entrée , définissez , puis calculez , où est le nombre de couches.$I \in \mathbb{R}^n$$a^1 = I$$a^2, a^3, \ldots, a^m$$m$

Fonctions d'activation

(dans ce qui suit, nous écrirons au lieu de pour la lisibilité)$\exp(x)$$e^x$

Identité

Également appelée fonction d'activation linéaire.

$$a^i_j = \sigma(z^i_j) = z^i_j$$

Étape

$$a^i_j = \sigma(z^i_j) = \begin{cases} 0 & \text{if } z^i_j < 0 \\ 1 & \text{if } z^i_j > 0 \end{cases}$$

Par morceaux linéaire

Choisissez quelques et , qui sont notre "plage". Tout ce qui est inférieur à cette plage sera 0 et tout ce qui est supérieur à cette plage sera 1. Tout le reste est interpolé linéairement entre. Officiellement:$x_{\min}$$x_{\max}$

$$a^i_j = \sigma(z^i_j) = \begin{cases} 0 & \text{if } z^i_j < x_{\min} \\ m z^i_j+b & \text{if } x_{\min} \leq z^i_j \leq x_{\max} \\ 1 & \text{if } z^i_j > x_{\max} \end{cases}$$

Où

$$m = \frac{1}{x_{\max}-x_{\min}}$$

et

$$b = -m x_{\min} = 1 - m x_{\max}$$

Sigmoïde

$$a^i_j = \sigma(z^i_j) = \frac{1}{1+\exp(-z^i_j)}$$

Journal de bord complémentaire

$$a^i_j = \sigma(z^i_j) = 1 − \exp\!\big(−\exp(z^i_j)\big)$$

Bipolaire

$$a^i_j = \sigma(z^i_j) = \begin{cases} -1 & \text{if } z^i_j < 0 \\ \ \ \ 1 & \text{if } z^i_j > 0 \end{cases}$$

Sigmoïde bipolaire

$$a^i_j = \sigma(z^i_j) = \frac{1-\exp(-z^i_j)}{1+\exp(-z^i_j)}$$

Tanh

$$a^i_j = \sigma(z^i_j) = \tanh(z^i_j)$$

LeCun's Tanh

Voir Efficace Backprop .

$$a^i_j = \sigma(z^i_j) = 1.7159 \tanh\!\left( \frac{2}{3} z^i_j\right)$$

Escaladé:

Dur tanh

$$a^i_j = \sigma(z^i_j) = \max\!\big(-1, \min(1, z^i_j)\big)$$

Absolu

$$a^i_j = \sigma(z^i_j) = \mid z^i_j \mid$$

Redresseur

Également connu sous le nom d'unité linéaire rectifiée (ReLU), Max ou fonction de rampe .

$$a^i_j = \sigma(z^i_j) = \max(0, z^i_j)$$

Modifications de ReLU

Voici quelques fonctions d'activation avec lesquelles je joue et qui semblent avoir de très bonnes performances pour MNIST pour des raisons mystérieuses.

$$a^i_j = \sigma(z^i_j) = \max(0, z^i_j)+\cos(z^i_j)$$

Escaladé:

$$a^i_j = \sigma(z^i_j) = \max(0, z^i_j)+\sin(z^i_j)$$

Escaladé:

Redresseur lisse

Également connu sous le nom d'unité linéaire rectifiée lisse, Smooth Max ou Soft plus

$$a^i_j = \sigma(z^i_j) = \log\!\big(1+\exp(z^i_j)\big)$$

Logit

$$a^i_j = \sigma(z^i_j) = \log\!\bigg(\frac{z^i_j}{(1 − z^i_j)}\bigg)$$

Escaladé:

Probit

$$a^i_j = \sigma(z^i_j) = \sqrt{2}\,\text{erf}^{-1}(2z^i_j-1)$$ .

Où est la fonction d'erreur . Il ne peut pas être décrit via des fonctions élémentaires, mais vous pouvez trouver des moyens d’en approcher l’inverse sur cette page Wikipedia et ici .$\text{erf}$

Alternativement, il peut être exprimé par

$$a^i_j = \sigma(z^i_j) = \phi(z^i_j)$$ .

Où est la fonction de distribution cumulative (CDF). Voir ici pour les moyens de s'en approcher.$\phi$

Escaladé:

Cosinus

Voir Évier de cuisine au hasard .

$$a^i_j = \sigma(z^i_j) = \cos(z^i_j)$$ .

Softmax

Aussi connu sous le nom d'exponentielle normalisée.

$$a^i_j = \frac{\exp(z^i_j)}{\sum\limits_k \exp(z^i_k)}$$

Celui-ci est un peu étrange car la sortie d'un seul neurone dépend des autres neurones de cette couche. Cela devient également difficile à calculer, car peut être une valeur très élevée, auquel cas débordera probablement. De même, si est une valeur très basse, elle débordera et deviendra .$z^i_j$$\exp(z^i_j)$$z^i_j$$0$

Pour lutter contre cela, nous allons plutôt calculer . Cela nous donne:$\log(a^i_j)$

$$\log(a^i_j) = \log\left(\frac{\exp(z^i_j)}{\sum\limits_k \exp(z^i_k)}\right)$$

$$\log(a^i_j) = z^i_j - \log(\sum\limits_k \exp(z^i_k))$$

Ici, nous devons utiliser l' astuce log-sum-exp :

Disons que nous calculons:

$$\log(e^2 + e^9 + e^{11} + e^{-7} + e^{-2} + e^5)$$

Nous allons d'abord trier nos exponentielles par magnitude pour des raisons de commodité:

$$\log(e^{11} + e^9 + e^5 + e^2 + e^{-2} + e^{-7})$$

Ensuite, puisque est notre plus haut, nous multiplions par :$e^{11}$$\frac{e^{-11}}{e^{-11}}$

$$\log(\frac{e^{-11}}{e^{-11}}(e^{11} + e^9 + e^5 + e^2 + e^{-2} + e^{-7}))$$

$$\log(\frac{1}{e^{-11}}(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18}))$$

$$\log(e^{11}(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18}))$$

$$\log(e^{11}) + \log(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18})$$

$$11 + \log(e^{0} + e^{-2} + e^{-6} + e^{-9} + e^{-13} + e^{-18})$$

Nous pouvons ensuite calculer l'expression de droite et en prendre le journal. Vous pouvez le faire car cette somme est très petite en ce qui concerne . Par conséquent, un dépassement inférieur à 0 n'aurait pas été suffisamment important pour faire une différence de toute façon. Le débordement ne peut pas se produire dans l'expression de droite car nous avons la garantie qu'après la multiplication par , tous les pouvoirs seront .$\log(e^{11})$$e^{-11}$$\leq 0$

Formellement, nous appelons . Ensuite:$m=\max(z^i_1, z^i_2, z^i_3, ...)$

$$\log\!(\sum\limits_k \exp(z^i_k)) = m + \log(\sum\limits_k \exp(z^i_k - m))$$

Notre fonction softmax devient alors:

$$a^i_j = \exp(\log(a^i_j))=\exp\!\left( z^i_j - m - \log(\sum\limits_k \exp(z^i_k - m))\right)$$

Également en tant que sidenote, le dérivé de la fonction softmax est:

$$\frac{d \sigma(z^i_j)}{d z^i_j}=\sigma^{\prime}(z^i_j)= \sigma(z^i_j)(1 - \sigma(z^i_j))$$

Maxout

Celui-ci est également un peu délicat. L'idée est essentiellement de diviser chaque neurone de notre couche maxout en un grand nombre de sous-neurones, chacun ayant ses propres poids et biais. Ensuite, l'entrée d'un neurone va à la place de chacun de ses sous-neurones, et chaque sous-neurone sort simplement leurs (sans appliquer de fonction d'activation). Le de ce neurone est alors le maximum de toutes les sorties de son sous-neurone.$z$$a^i_j$

Formellement, dans un seul neurone, disons que nous avons sous-neurones. ensuite$n$

$$a^i_j = \max\limits_{k \in [1,n]} s^i_{jk}$$

où

$$s^i_{jk} = a^{i-1} \bullet w^i_{jk} + b^i_{jk}$$

( est le produit scalaire )$\bullet$

Pour nous aider à réfléchir à cela, considérons la matrice de poids pour la couche d'un réseau de neurones utilisant, par exemple, une fonction d'activation sigmoïde. est une matrice 2D, où chaque colonne est un vecteur pour le neurone contenant un poids pour chaque neurone de la couche précédente .$W^i$$i^{\text{th}}$$W^i$$W^i_j$$j$$i-1$

Si nous allons avoir des sous-neurones, nous aurons besoin d'une matrice de poids 2D pour chaque neurone, car chaque sous-neurone aura besoin d'un vecteur contenant un poids pour chaque neurone de la couche précédente. Cela signifie que est maintenant une matrice de poids 3D, où chaque est la matrice de poids 2D pour un seul neurone . Et alors est un vecteur du sous-neurone dans le neurone qui contient un poids pour chaque neurone de la couche précédente .$W^i$$W^i_j$$j$$W^i_{jk}$$k$$j$$i-1$

De même, dans un réseau neuronal qui utilise à nouveau, par exemple, une fonction d'activation sigmoïde, est un vecteur avec un biais pour chaque neurone de la couche .$b^i$$b^i_j$$j$$i$

Pour ce faire avec les sous-neurones, nous avons besoin d’une matrice de biais 2D pour chaque couche , où est le vecteur avec un biais pour chaque sous-neurone dans le neurone.$b^i$$i$$b^i_j$$b^i_{jk}$$k$$j^{\text{th}}$

Avoir une matrice de poids et un vecteur de biais pour chaque neurone rend les expressions ci-dessus très claires, il suffit d'appliquer les poids de chaque sous-neurone aux sorties de couche , puis appliquant leurs biais et en prenant le maximum.$w^i_j$$b^i_j$$w^i_{jk}$$a^{i-1}$$i-1$$b^i_{jk}$

Réseaux à fonction radiale

Les réseaux de fonctions à base radiale sont une modification des réseaux de neurones à action directe où, au lieu d’utiliser

$$a^i_j=\sigma\bigg(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j\bigg)$$

nous avons un poids par noeud dans la couche précédente (comme d'habitude), ainsi qu'un vecteur moyen et un vecteur de déviation standard pour chaque noeud de la couche précédente.$w^i_{jk}$$k$$\mu^i_{jk}$$\sigma^i_{jk}$

Ensuite, nous appelons notre fonction d'activation pour éviter de la confondre avec les vecteurs d'écart type . Maintenant, pour calculer nous devons d’abord calculer un pour chaque noeud de la couche précédente. Une option consiste à utiliser la distance euclidienne:$\rho$$\sigma^i_{jk}$$a^i_j$$z^i_{jk}$

$$z^i_{jk}=\sqrt{\Vert(a^{i-1}-\mu^i_{jk}\Vert}=\sqrt{\sum\limits_\ell (a^{i-1}_\ell - \mu^i_{jk\ell})^2}$$

Où est l' élément de . Celui-ci n'utilise pas le . Alternativement, il y a la distance de Mahalanobis, qui est supposée être plus performante:$\mu^i_{jk\ell}$$\ell^\text{th}$$\mu^i_{jk}$$\sigma^i_{jk}$

$$z^i_{jk}=\sqrt{(a^{i-1}-\mu^i_{jk})^T \Sigma^i_{jk} (a^{i-1}-\mu^i_{jk})}$$

où est la matrice de covariance , définie comme suit:$\Sigma^i_{jk}$

$$\Sigma^i_{jk} = \text{diag}(\sigma^i_{jk})$$

En d'autres termes, est la matrice diagonale avec tant qu'éléments diagonaux. Nous définissons et tant que vecteurs de colonne ici car il s'agit de la notation normalement utilisée.$\Sigma^i_{jk}$$\sigma^i_{jk}$$a^{i-1}$$\mu^i_{jk}$

Ce sont vraiment juste dire que la distance de Mahalanobis est définie comme

$$z^i_{jk}=\sqrt{\sum\limits_\ell \frac{(a^{i-1}_{\ell} - \mu^i_{jk\ell})^2}{\sigma^i_{jk\ell}}}$$

Où est l' élément de . Notez que doit toujours être positif, mais il s’agit d’une exigence typique de l’écart type, ce qui n’est pas surprenant.$\sigma^i_{jk\ell}$$\ell^\text{th}$$\sigma^i_{jk}$$\sigma^i_{jk\ell}$

Si vous le souhaitez, la distance de Mahalanobis est suffisamment générale pour que la matrice de covariance puisse être définie comme une autre matrice. Par exemple, si la matrice de covariance est la matrice d'identité, notre distance de Mahalanobis se réduit à la distance euclidienne. est assez commun cependant, et est connue sous le nom de distance euclidienne normalisée .$\Sigma^i_{jk}$$\Sigma^i_{jk} = \text{diag}(\sigma^i_{jk})$

De toute façon, une fois que notre fonction de distance a été choisie, nous pouvons calculer via$a^i_j$

$$a^i_j=\sum\limits_k w^i_{jk}\rho(z^i_{jk})$$

Dans ces réseaux, ils choisissent de multiplier par des poids après avoir appliqué la fonction d'activation pour des raisons.

Ceci décrit comment créer un réseau multi-couches à fonction de base radiale. Toutefois, il n’ya généralement qu’un de ces neurones et sa sortie est la sortie du réseau. Il est dessiné comme plusieurs neurones car chaque vecteur moyen et chaque vecteur d'écart type de ce neurone est considéré comme un "neurone" et, après toutes ces sorties, il y a une autre couche qui prend la somme de ces valeurs calculées multipliée par les poids, comme ci-dessus. Le diviser en deux couches avec un vecteur "sommateur" à la fin me semble étrange, mais c'est ce qu'elles font.$\mu^i_{jk}$$\sigma^i_{jk}$$a^i_j$

Voir aussi ici .

Fonction d'activation de réseau à fonction radiale

Gaussien

$$\rho(z^i_{jk}) = \exp\!\big(-\frac{1}{2} (z^i_{jk})^2\big)$$

Multiquadratique

Choisissez un point . Ensuite, nous calculons la distance de à :$(x, y)$$(z^i_j, 0)$$(x, y)$

$$\rho(z^i_{jk}) = \sqrt{(z^i_{jk}-x)^2 + y^2}$$

C'est de Wikipedia . Ce n'est pas borné et peut être une valeur positive, bien que je me demande s'il existe un moyen de la normaliser.

Lorsque , cela équivaut à absolu (avec un décalage horizontal ).$y=0$$x$

Multiquadratique inverse

Identique au quadratique, sauf retourné:

$$\rho(z^i_{jk}) = \frac{1}{\sqrt{(z^i_{jk}-x)^2 + y^2}}$$

* Graphiques d'Intmath's Graphs utilisant SVG .

Une telle liste, bien que peu exhaustive: http://cs231n.github.io/neural-networks-1/

Fonctions d'activation couramment utilisées

Chaque fonction d'activation (ou non-linéarité ) prend un nombre unique et effectue une certaine opération mathématique fixe sur celui-ci. Il existe plusieurs fonctions d’activation que vous pouvez rencontrer dans la pratique:

Gauche: la non-linéarité sigmoïde réduit les nombres réels entre [0,1], à droite. La non-linéarité tanh réduit les nombres réels entre [-1,1].

Sigmoïde. La non-linéarité sigmoïde a la forme mathématique et est montrée dans l'image ci-dessus à gauche. Comme mentionné dans la section précédente, il prend un nombre à valeur réelle et le "réduit" entre 0 et 1. En particulier, les grands nombres négatifs deviennent 0 et les grands nombres positifs deviennent 1. La fonction sigmoïde a été utilisée fréquemment par le passé car il a une bonne interprétation en tant que taux de déclenchement d'un neurone: de ne pas déclencher du tout (0) à un déclenchement totalement saturé à une fréquence supposée maximale (1). En pratique, la non-linéarité sigmoïde est récemment tombée en désuétude et elle est rarement utilisée. Il présente deux inconvénients majeurs:$\sigma(x) = 1 / (1 + e^{-x})$

• Les Sigmoids saturent et éliminent les gradients . Une propriété très indésirable du neurone sigmoïde est que, lorsque l'activation du neurone sature au niveau de la queue de 0 ou de 1, le gradient de ces régions est presque nul. Rappelez-vous que lors de la rétro-propagation, ce gradient (local) sera multiplié par le gradient de la sortie de cette porte pour l’ensemble de l’objectif. Par conséquent, si le gradient local est très petit, il "tue" effectivement le gradient et presque aucun signal ne circulera à travers le neurone vers ses poids et de manière récursive vers ses données. De plus, il faut redoubler de prudence lors de l’initialisation du poids des neurones sigmoïdes pour éviter la saturation. Par exemple, si les poids initiaux sont trop importants, la plupart des neurones deviendront saturés et le réseau apprendra à peine.
• Les sorties sigmoïdes ne sont pas centrées sur zéro . Cela n'est pas souhaitable car les neurones des couches de traitement ultérieures d'un réseau de neurones (plus de détails prochainement) recevraient des données qui ne sont pas centrées sur le zéro. Cela a des implications sur la dynamique lors de la descente du gradient, car si les données entrant dans un neurone sont toujours positives (par exemple, élément par élément dans )), le gradient sur les poids deviendra alors soit tous être positifs ou tous négatifs (en fonction du gradient de l'expression entière $x > 0$$f = w^Tx + b$$w$$f$). Cela pourrait introduire une dynamique indésirable en zig-zag dans les mises à jour de gradient pour les poids. Cependant, notez qu'une fois que ces gradients sont ajoutés à un lot de données, la dernière mise à jour des pondérations peut avoir des signes variables, ce qui atténue quelque peu ce problème. C’est donc un inconvénient, mais les conséquences sont moins graves que celles du problème d’activation saturé ci-dessus.

Tanh. La non-linéarité du tanh est montrée sur l'image ci-dessus à droite. Il écrase un nombre de valeurs réelles dans l'intervalle [-1, 1]. Comme le neurone sigmoïde, ses activations saturent, mais contrairement au neurone sigmoïde, sa sortie est centrée sur le zéro. Par conséquent, dans la pratique, la non-linéarité de tanh est toujours préférée à la non-linéarité sigmoïde. Notez également que le neurone tanh est simplement un neurone sigmoïde mis à l'échelle, en particulier les suivants: .$\tanh(x) = 2 \sigma(2x) -1$

Gauche: fonction d'activation de l'unité linéaire rectifiée (ReLU), qui vaut zéro lorsque x <0, puis linéaire avec la pente 1 lorsque x> 0. À droite: Un graphique de Krizhevsky et al. (pdf) article indiquant l’amélioration 6x de la convergence avec l’unité ReLU par rapport à l’unité tanh.

ReLU. L'unité linéaire rectifiée est devenue très populaire ces dernières années. Il calcule la fonction . En d'autres termes, l'activation est simplement limitée à zéro (voir l'image ci-dessus à gauche). Il y a plusieurs avantages et inconvénients à utiliser les ReLU:$f(x) = \max(0, x)$

• (+) Il a été constaté qu’il accélérait considérablement (par exemple un facteur 6 dans Krizhevsky et al. ) La convergence de la descente de gradient stochastique par rapport aux fonctions sigmoïde / tanh. On prétend que cela est dû à sa forme linéaire, non saturante.
• (+) Comparé aux neurones tanh / sigmoïde qui impliquent des opérations coûteuses (exponentielles, etc.), le ReLU peut être mis en œuvre simplement en seuillant à zéro une matrice d’activations.
• (-) Malheureusement, les unités ReLU peuvent être fragiles pendant l'entraînement et peuvent "mourir". Par exemple, un gradient important traversant un neurone ReLU pourrait entraîner la mise à jour des poids de manière à ce que le neurone ne s'active plus jamais sur aucun point de données. Si cela se produit, le gradient qui traverse l'unité sera toujours égal à zéro à partir de ce moment. C'est-à-dire que les unités ReLU peuvent mourir de manière irréversible pendant l'entraînement car elles peuvent être éjectées du collecteur de données. Par exemple, vous pouvez constater que jusqu'à 40% de votre réseau peut être "mort" (c.-à-d. Des neurones qui ne s'activent jamais sur l'ensemble du jeu de données d'apprentissage) si le taux d'apprentissage est trop élevé. Avec un réglage approprié du taux d'apprentissage, cela pose moins souvent problème.

Leaky ReLU. Leaky ReLUs sont une tentative de résoudre le problème de "mourant ReLU". Au lieu que la fonction soit égale à zéro lorsque x <0, une ReLU qui fuit aura une petite pente négative (de 0,01 ou plus). C'est-à-dire que la fonction calcule où est une petite constante. Certaines personnes signalent le succès de cette forme d'activation, mais les résultats ne sont pas toujours cohérents. La pente dans la région négative peut également être transformée en paramètre de chaque neurone, comme le montrent les neurones PReLU, introduits dans Delving Deep into Rectifiers , de Kaiming He et al., 2015. Cependant, l'uniformité des avantages entre les tâches est actuellement pas clair.$f(x) = \mathbb{1}(x < 0) (\alpha x) + \mathbb{1}(x>=0) (x)$$\alpha$

Maxout . D'autres types d'unités ont été proposées qui n'ont pas la forme fonctionnelle lorsqu'une non-linéarité est appliquée sur le produit scalaire entre les pondérations et les données. Un choix relativement populaire est le neurone Maxout (introduit récemment par Goodfellow et autres ) qui généralise le ReLU et sa version qui fuit. Le neurone Maxout calcule la fonction . Notez que ReLU et Leaky ReLU constituent un cas particulier de ce formulaire (par exemple, pour ReLU, nous avons$f(w^Tx + b)$$\max(w_1^Tx+b_1, w_2^Tx + b_2)$$w_1, b_1 = 0$). Le neurone Maxout bénéficie donc de tous les avantages d'une unité ReLU (régime de fonctionnement linéaire, pas de saturation) et ne présente pas d'inconvénient (ReLU mourant). Cependant, contrairement aux neurones ReLU, il double le nombre de paramètres pour chaque neurone, ce qui conduit à un nombre total élevé de paramètres.

Ceci conclut notre discussion sur les types de neurones les plus courants et leurs fonctions d’activation. Dernier commentaire, il est très rare de combiner différents types de neurones dans le même réseau, même si cela ne présente aucun problème fondamental.

TLDR : " Quel type de neurone devrais-je utiliser? " Utilisez la non-linéarité ReLU, faites attention à votre vitesse d' apprentissage et surveillez éventuellement la fraction d'unités "mortes" dans un réseau. Si cela vous concerne, essayez Leaky ReLU ou Maxout. Ne jamais utiliser sigmoïde. Essayez tanh, mais attendez-vous à ce qu'il fonctionne pire que ReLU / Maxout.

---

Licence:


La licence MIT (MIT)

Droits d'auteur (c) 2015 Andrej Karpathy

Par la présente, une autorisation est accordée gratuitement à toute personne obtenant une copie de ce logiciel et des fichiers de documentation associés (le "Logiciel"), afin de traiter le logiciel sans restriction, y compris, sans limitation, les droits d'utilisation, de copie, de modification et de fusion. , publiez, distribuez, concédez en sous-licence et / ou vendez des copies du logiciel, et autorisez les personnes à qui le logiciel est fourni à le faire, sous réserve des conditions suivantes:

L'avis de copyright ci-dessus et cet avis de permission doivent être inclus dans toutes les copies ou parties substantielles du logiciel.

LE LOGICIEL EST FOURNI "EN L'ETAT", SANS AUCUNE GARANTIE, EXPRESSE OU IMPLICITE, Y COMPRIS DE MANIÈRE NON LIMITÉE À LA GARANTIE DE QUALITÉ MARCHANDE, D'ADÉQUATION À UN USAGE PARTICULIER ET D'INFRACTION. EN AUCUN CAS, LES AUTEURS OU LES TITULAIRES DE COPYRIGHT NE PEUVENT ÊTRE TENUS RESPONSABLES DE TOUTE RÉCLAMATION, DE DOMMAGES OU D'AUTRE RESPONSABILITÉ, QU'IL SOIT PAR UN ACTION DE CONTRAT, DE LORT OU DE AUTRE QUE CE SOIT, OU LIÉ AU LOGICIEL OU À L'UTILISATION OU AUTRE LOGICIEL.*

Autres liens:

• fonction d'activation tanh vs fonction d'activation sigmoïde

Je ne pense pas qu'une liste avec le pour et le contre existe. Les fonctions d'activation dépendent fortement de l'application et dépendent également de l'architecture de votre réseau de neurones ( ici, par exemple, l'application de deux fonctions softmax, similaires à celle du sigmoïde).

Vous pouvez trouver des études sur le comportement général des fonctions, mais je pense que vous n’aurez jamais de liste définie et définitive (ce que vous demandez ...).

Je suis toujours étudiant, alors je signale ce que je sais jusqu'à présent:

• Vous trouverez ici quelques réflexions sur les comportements de tanh et de sigmoids avec rétropropagation. Les Tanh sont plus génériques, mais sigmoids ... (il y aura toujours un "mais")
• Dans Deep Sparse Rectifier, les réseaux neuronaux de Glorot Xavier et al, affirment que les unités de redressement sont plus plausibles sur le plan biologique et qu’elles fonctionnent mieux que les autres (sigmoïde / tanh)

Juste pour être complet sur une grande réponse de Danielle, il y a d' autres paradigmes, où l' on hasard « fait tourner la roue » sur les poids et / ou le type d'activations: machines à l'état liquide , des machines d'apprentissage extrêmes et les réseaux d'Etat écho .

Une façon de penser à ces architectures: le réservoir est une sorte de noyau comme dans les SVM ou une grande couche cachée dans un simple FFNN où les données sont projetées dans un hyperespace. Il n'y a pas d'apprentissage réel, le réservoir est régénéré jusqu'à ce qu'une solution satisfaisante soit trouvée.

Voir aussi cette belle réponse .

Vous trouverez un article sur les fonctions d'activation récentes dans:

" Fonctions d'activation: Comparaison des tendances dans la pratique et la recherche pour l'apprentissage en profondeur " de Chigozie Enyinna Nwankpa, Winifred Ijomah, Anthony Gachagan et Stephen Marshall

Les réseaux de neurones profonds ont été utilisés avec succès dans divers domaines émergents pour résoudre des problèmes complexes du monde réel avec des architectures d'apprentissage plus approfondies (DL), en cours de développement. Pour atteindre ces performances de pointe, les architectures DL utilisent des fonctions d'activation (AF) pour effectuer divers calculs entre les couches masquées et les couches de sortie de toute architecture DL donnée. Ce document présente une enquête sur les AF existants utilisés dans les applications d'apprentissage en profondeur et met en évidence les tendances récentes en matière d'utilisation des fonctions d'activation pour les applications d'apprentissage en profondeur. La nouveauté de cet article réside dans le fait qu’il rassemble la majorité des AF utilisés dans la DL et décrit les tendances actuelles des applications et de l’utilisation de ces fonctions dans les déploiements d’apprentissage en profondeur pratiques par rapport aux résultats de recherche de pointe. Cette compilation aidera à prendre des décisions efficaces dans le choix de la fonction d'activation la plus appropriée et la mieux adaptée à une application donnée, prête à être déployée. Cet article tombe à point, car la plupart des travaux de recherche sur la FA mettent en évidence des travaux et des résultats similaires, alors que ce document sera le premier à compiler les tendances des applications de la FA dans la pratique par rapport aux résultats de la littérature, trouvés dans des recherches approfondies à ce jour.