Comment implémenter la régularisation L2 vers un point arbitraire dans l'espace?

11

Voici quelque chose que j'ai lu dans le livre Deep Learning d' Ian Goodfellow .

Dans le contexte des réseaux de neurones, "la pénalité de la norme du paramètre L2 est communément appelée décroissance du poids. Cette stratégie de régularisation rapproche les poids de l'origine [...]. Plus généralement, nous pourrions régulariser les paramètres pour qu'ils soient proches de tout point spécifique dans l'espace "mais il est beaucoup plus courant de régulariser les paramètres du modèle vers zéro. (Deep Learning, Goodfellow et al.)

Je suis juste curieux. Je comprends qu'en ajoutant simplement un terme de régularisation à notre fonction de coût, et qu'en minimisant ce coût total nous pouvons influencer les paramètres du modèle pour qu'ils restent petits: $J$

J (Θ, X, y) = L (Θ, X, y) + λ | | w | |_{2}^{2}

$J(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) = L(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) + \lambda||\boldsymbol{w}||_{2}^{2}$

Mais comment mettre en œuvre une version de cette stratégie de régularisation qui conduirait les paramètres vers n'importe quel point arbitraire? (disons que nous voulons que la norme tende vers 5)

— Julep
source

14

Vous posez en fait deux questions différentes.

Avoir la norme a tendance à 5 implique que vous voulez que les poids soient près de la surface d'une hypersphère centrée à l'origine avec un rayon 5. Cette régularisation ressemble à quelque chose comme

J (Θ, X, y) = L (Θ, X, y) + λ (| | w | |_{2}^{2} - 5)^{2}

$J(\Theta, X, y) = L(\Theta, X, y) + \lambda (||w||_2^2-5)^2$

Mais vous pourriez utiliser à la place quelque chose comme $\lambda \cdot\text{abs}(||w||_2^2-5)$ , je suppose.

D'un autre côté, si vous voulez tendre vers un point arbitraire, il vous suffit d'utiliser ce point comme centre $c$ .

J (Θ, X, y) = L (Θ, X, y) + λ | | w - c | |_{2}^{2}

$J(\Theta, X, y) = L(\Theta, X, y) + \lambda ||w-c||_2^2$

— Sycorax dit de réintégrer Monica
source

(+1) Je pense qu'une façon fructueuse de penser à la "norme tendant à cinq" pourrait être par le choix du paramètre de réglage dans la version de donnée par OP (plutôt que de changer la fonction)

J

$J$

— user795305

(J'ai écrit une réponse courte pour clarifier ce que je veux dire par dessus. Merci, en passant, d'avoir clarifié la distinction des deux questions posées!)

— user795305

un objectif commun (pratique) lors de cette opération est de se régulariser vers un point de fonctionnement connu, par exemple le modèle précédent que vous souhaitez remplacer mais pour lequel vous souhaitez une transition "en douceur"

— oDDsKooL

6

DéfinissezNous savons que , en raison de la pénalité ayant l'origine comme minimiseur.

{\hat{w}}_{λ} = \arg min_{w} L (Θ, X, y) + λ ‖ w ‖_{2}^{2} .

$\hat w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \|w\|_2^2.$

lim_{λ \to \infty} {\hat{w}}_{λ} = 0

$\lim_{\lambda \to \infty} \hat w_\lambda = 0$

w \mapsto ‖ w ‖_{2}^{2}

$w \mapsto \|w\|_2^2$

Sycorax souligne que, de même,Cette généralisation réussie peut nous conduire à proposer l'estimateur où est une fonction dont le minimiseur satisfait une propriété que nous recherchons. En effet, Sycorax prend , où est (uniquement) minimisé à l'origine, et notamment . Par conséquent, , comme vous le souhaitez. Malheureusement, cependant, les deux choix de $\lim_{\lambda \to \infty} \left\{ \arg\min_w L(\Theta, X, y) + \lambda \|w-c\|_2^2 \right\} = c.$

{\tilde{w}}_{λ} = \arg min_{w} L (Θ, X, y) + λ p e n (w),

$\tilde w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \mathrm{pen}(w),$

p e n

$\mathrm{pen}$

p e n (w) = g (‖ w ‖_{2}^{2} - 5)

$\mathrm{pen}(w) = g(\|w\|_2^2 - 5)$

g

$g$

g \in {| \cdot |, (\cdot)^{2}}

$g \in \{|\cdot|, \, (\cdot)^2\}$

lim_{λ \to \infty} ‖ {\tilde{w}}_{λ} ‖_{2}^{2} = 5

$\lim_{\lambda \to \infty} \|\tilde w_\lambda \|_2^2 = 5$

g

$g$ entraîner des pénalités non convexes, ce qui rend l'estimateur difficile à calculer.

L'analyse ci-dessus semble être la meilleure solution (peut-être jusqu'au choix de , pour lequel je n'ai pas de meilleur à suggérer) si nous insistons sur comme étant l'interprétation unique de "tend à" décrite dans la question. Cependant, en supposant que , il existe certains sorte que le minimiseur du problème satsifes OP . Par conséquent sans avoir besoin de changer la fonction objectif. Si aucun de ces n'existe, alors le problème de l'informatique $g$ $\lambda \to \infty$ $\|\arg\min_w L(\Theta, X, y) \|_2^2 \geq 5$ $\Lambda$ $\hat w_\Lambda$ $\|\hat w_\Lambda\|_2^2 = 5$

lim_{λ \to Λ} {‖ {\hat{w}}_{λ} ‖}_{2}^{2} = 5,

$\lim_{\lambda \to \Lambda} \left\| \hat w_\lambda \right\|_2^2 = 5,$

Λ

$\Lambda$

\arg min_{w : ‖ w ‖_{2}^{2} = 5} L (Θ, X, y)

$\arg\min_{w : \|w\|_2^2 = 5} L(\Theta, X, y)$ est intrinsèquement difficile. En effet, il n'est pas nécessaire de considérer un estimateur autre que lorsque vous essayez d'encourager les propriétés naturelles de .

{\hat{w}}_{λ}

$\hat w_\lambda$

‖ {\hat{w}}_{λ} ‖_{2}^{2}

$\|\hat w_\lambda\|_2^2$

(Pour imposer qu'un estimateur pénalisé atteigne une valeur de la pénalité qui n'est pas atteinte par l'estimateur non pénalisé me semble très contre nature. Si quelqu'un est au courant d'endroits où cela est en fait souhaité, veuillez commenter!)

— user795305
source

1

Il s'agit d'un excellent ajout. +1

— Sycorax dit de réintégrer Monica

2

Pour approprié, il est possible de le considérer comme log-vraisemblance négative et une régularisation appropriée peut être considérée comme log-vraisemblance négative pour une distribution antérieure. Cette approche est appelée Maximum A Posteriori (MAP). $L$ $J$

Il devrait être facile de voir les exemples de Sycorax à la lumière de MAP.

Pour plus de détails sur MAP, vous pouvez consulter ces notes . D'après mon expérience, googler «régularisation maximale a posteriori» donne de bons résultats.

— Jakub Bartczuk
source