Je suis juste tombé sur le concept de couverture neuronale, qui est le rapport des neurones activés et des neurones totaux dans un réseau neuronal. Mais qu'est-ce que cela signifie pour un neurone d'être "activé"? Je sais ce que sont les fonctions d'activation, mais que signifie être activé, par exemple dans le cas d'une fonction ReLU ou sigmoïde?
Réponses:
Un neurone est dit activé lorsque sa sortie est supérieure à un seuil, généralement 0.
Par exemple: when
Il en va de même pour sigmoïde ou d'autres fonctions d'activation.
Le terme "activé" est principalement utilisé lorsque l'on parle de fonctions d'activation qui ne sortent une valeur (sauf 0) que lorsque l'entrée de la fonction d'activation est supérieure à un certain seuil.
Surtout lorsque vous discutez de ReLU, le terme "activé" peut être utilisé. ReLU sera "activé" lorsque sa sortie est supérieure à 0, ce qui est également lorsque son entrée est supérieure à 0.
D'autres fonctions d'activation, comme sigmoïde, retournent toujours une valeur supérieure à 0 et n'ont pas de seuil spécial. Par conséquent, le terme "activé" a moins de sens ici.
Même si nous en savons peu sur eux, les neurones du cerveau semblent également avoir quelque chose qui ressemble à une fonction d'activation avec une sorte de "seuil d'activation".