Je commence par l'apprentissage en profondeur, et j'ai une question dont je n'ai pas trouvé la réponse, peut-être que je n'ai pas cherché correctement. J'ai vu cette réponse , mais on ne sait toujours pas quelle est la perte de perte de poids et comment est-elle liée à la fonction de perte.
Réponses:
La décroissance de poids spécifie la régularisation dans le réseau neuronal.
Pendant la formation, un terme de régularisation est ajouté à la perte du réseau pour calculer le gradient de rétropropagation. La weight decayvaleur détermine la dominance de ce terme de régularisation dans le calcul du gradient.
En règle générale, plus vous avez d'exemples de formation, plus ce terme devrait être faible. Plus vous avez de paramètres, plus ce terme doit être élevé.
Ainsi, la décroissance du poids est un terme de régularisation qui pénalise les gros poids. Lorsque le coefficient de décroissance du poids est grand, la pénalité pour les gros poids est également grande, quand ce sont de petits poids qui peuvent croître librement.
Donc, maintenant, si vous revenez à la lecture de la réponse que vous avez liée dans votre question, cela aurait tout à fait un sens maintenant.