Plage de lambda en régression nette élastique

$\def\l{|\!|}$ Étant donné la régression nette élastique

min_{b} \frac{1}{2} | | y - X b | |^{2} + α λ | | b | |_{2}^{2} + (1 - α) λ | | b | |_{1}

$\min_b \frac{1}{2}\l y - Xb \l^2 + \alpha\lambda \l b\l_2^2 + (1 - \alpha) \lambda \l b\l_1$

comment choisir une plage appropriée de $\lambda$ pour la validation croisée?

Dans le cas $\alpha=1$ (régression de crête), la formule

dof = \sum_{j} \frac{s_{j}^{2}}{s_{j}^{2} + λ}

$\textrm{dof} = \sum_j \frac{s_j^2}{s_j^2+\lambda}$

peut être utilisé pour donner un degré de liberté équivalent pour chaque lambda (où $s_j$ sont les valeurs singulières de $X$ ), et les degrés de liberté peuvent être choisis dans une plage sensible.

Dans le cas $\alpha=0$ (lasso), nous savons que

λ > λ_{max} = max_{j} | \sum_{t} y_{t} X_{t j} |

$\lambda > \lambda_{\textrm{max}} = \max_j|\sum_t y_t X_{tj}|$

entraînera que tous les $b_j$ soient nuls, et $\lambda$ peut être choisi dans une certaine plage $(0, \lambda_\textrm{max})$ .

Mais comment gérer le cas mixte?

— Chris Taylor
source

Je pense que vous devriez utiliser une plage de $0$ à

λ_{max}^{'} = \frac{1}{1 - α} λ_{max}

$\lambda_\text{max}^\prime = \frac{1}{1-\alpha}\lambda_\text{max}$

Mon raisonnement vient de l'extension du cas du lasso, et une dérivation complète est ci-dessous. Le qualificatif est qu'il ne capture pas la contrainte apportée par la régularisation . Si je travaille sur la façon de résoudre ce problème (et de décider s'il doit réellement être corrigé), je reviendrai et le modifierai. $\text{dof}$ $\ell_2$

Définissez l'objectif

f (b) = \frac{1}{2} ‖ y - X b ‖^{2} + \frac{1}{2} γ ‖ b ‖^{2} + δ ‖ b ‖_{1}

$f(b) = \frac{1}{2} \|y - Xb\|^2 + \frac{1}{2} \gamma \|b\|^2 + \delta \|b\|_1$

C'est l'objectif que vous avez décrit, mais avec certains paramètres substitués pour améliorer la clarté.

Classiquement, ne peut être une solution au problème d'optimisation si le gradient à est nul. Le terme n'est cependant pas lisse, donc la condition est en fait que se trouve dans le sous-gradient à . $b=0$ $\min f(b)$ $b = 0$ $\|b\|_1$ $0$ $b = 0$

Le sous-gradient de est $f$

\partial f = - X^{T} (y - X b) + γ b + δ \partial ‖ b ‖_{1}

$\partial f = -X^T(y - Xb) + \gamma b + \delta \partial \|b\|_1$

où désigne le sous-gradué par rapport à . À , cela devient $\partial$ $b$ $b=0$

\partial f |_{b = 0} = - X^{T} y + δ [- 1, 1]^{d}

$\partial f|_{b=0} = -X^Ty + \delta[-1, 1]^d$

où est la dimension de et a est un cube dimensionnel. Donc, pour que le problème d'optimisation ait une solution de , il faut que $d$ $b$ $[-1,1]^d$ $d$ $b = 0$

(X^{T} y)_{i} \in δ [- 1, 1]

$(X^Ty)_i \in \delta [-1, 1]$

pour chaque composant . Cela équivaut à $i$

δ > max_{i} | \sum_{j} y_{j} X_{i j} |

$\delta > \max_i \left|\sum_j y_j X_{ij} \right|$

qui est la définition que vous avez donnée pour . Si est maintenant échangé, la formule en haut du message tombe. $\lambda_\text{max}$ $\delta = (1-\alpha)\lambda$

— Andy Jones
source