Y a-t-il des articles publiés qui montrent des différences dans les méthodes de régularisation pour les réseaux de neurones, de préférence sur différents domaines (ou au moins différents ensembles de données)?
Je pose la question parce que j'ai actuellement le sentiment que la plupart des gens semblent n'utiliser que le décrochage pour la régularisation en vision par ordinateur. Je voudrais vérifier s'il y a une raison (de ne pas) utiliser différents modes de régularisation.
Réponses:
Deux points:
Quoi qu'il en soit, je suis un peu sceptique quant aux études empiriques des réseaux de neurones. Il y a juste trop d'hyperparamètres pour affiner, de la topologie du réseau à la procédure d'optimisation de descente de gradient aux fonctions d'activation et tout ce que vous testez comme la régularisation. Ensuite, le tout est stochastique et les gains de performances sont généralement si faibles que vous pouvez difficilement tester statistiquement les différences. De nombreux auteurs ne prennent même pas la peine de faire des tests statistiques. Ils valident simplement la validation croisée et déclarent que le modèle ayant le gain de virgule décimale le plus élevé est le gagnant.
Vous pouvez trouver une étude promouvant le décrochage pour être contredite par une autre favorisant la régularisation.
Je pense que tout se résume aux préférences esthétiques. Le décrochage à mon humble avis semble plus plausible sur le plan biologique que la régularisation. Il semble également plus facile à calibrer. Donc, je le préfère personnellement lorsque j'utilise un framework comme TensorFlow. Si nous devons utiliser notre propre réseau de neurones, ce que nous faisons souvent, nous utiliserons la régularisation car elle était plus facile à mettre en œuvre.
Absolument. Le papier du Créateur lui-même, Geoffrey Hinton. https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf lisez-le. Mais je vous encourage à voir la différence par vous-même.