Paramètre de régularisation LASSO de l'algorithme LARS

Dans leur article fondateur «Least Angle Regression» , Efron et al décrivent une modification simple de l'algorithme LARS qui permet de calculer des chemins de régularisation LASSO complets.

J'ai implémenté cette variante avec succès et trace généralement le chemin de sortie en fonction du nombre d'étapes (itérations successives de l'algorithme LARS) ou de la l_1 des coefficients de régression ( ). $l_1$ $\Vert \beta \Vert_1$

Pourtant, il semble que la plupart des packages disponibles fournissent le chemin de régularisation en termes de coefficient de pénalisation LASSO $\lambda$ (par exemple LARS dans R, où vous pouvez jouer avec l'argument `` mode '' pour basculer entre différentes représentations).

Ma question est: quelle est la mécanique utilisée pour passer d'une représentation à l'autre (s). J'ai vu diverses questions liées à cela (ou plus précisément la question de la mise en correspondance de la contrainte d'inégalité $\Vert \beta \Vert_1 \leq t$ avec un terme de pénalisation approprié $\lambda \Vert \beta \Vert_1$ ), mais je n'ai trouvé aucune réponse satisfaisante.

[Éditer]

J'ai regardé à l'intérieur du code MATLAB qui effectue la transformation requise et, pour chaque étape LARS $k$ , voici comment $\lambda$ semble être calculé:

λ (k) = max (2 | X^{T} y |), for k = 1

$\lambda(k) = \max( 2 \vert X^T y \vert ),\ \ \ \text{for } k=1$

λ (k) = median (2 | X_{A_{k}}^{T} r_{A_{k}} |), \forall k > 1

$\lambda(k) = \text{median}( 2 \vert X_{\mathcal{A}_k}^T r_{\mathcal{A}_k} \vert ),\ \ \ \forall k > 1$

où $X$ (taille $n \times p$ ) et $y$ (taille $n \times 1$ ) désignent les entrées / réponses normalisées, $\mathcal{A}_k$ représente l'ensemble des prédicteurs actifs à l'étape $k$ et $r$ représente le résidu de régression actuel à l'étape $k$ .

Je ne peux pas saisir la logique derrière ce calcul. Quelqu'un pourrait-il aider?

— Quantuple
source

J'ai compris comment effectuer la conversion requise.

Supposons que les entrées sont normalisées (moyenne nulle, variance unitaire) et que les réponses sont centrées. $X$ $y$

Nous savons que l'algorithme LARS modifié fournit le chemin complet de régularisation LASSO, cf. papier original par Efron et al .

Cela signifie qu'à chaque itération , l'ancien algorithme trouve un couple optimal minimisant la fonction de perte régularisée: $k$ $(\beta^*, \lambda^*)$

\begin{aligned} (β^{*}, λ^{*}) & = {argmin}_{(β, λ)} L (β, λ) \\ L (β, λ) & = ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ = \sum_{i = 1}^{N} {(y_{i} - \sum_{j = 1}^{p} β_{j} X_{i j})}^{2} + λ \sum_{j = 1}^{p} | β_{j} | \end{aligned}

$\begin{align} (\beta^*, \lambda^*) &= \text{argmin}_{(\beta,\lambda)} L(\beta,\lambda) \\ L(\beta,\lambda) &= \Vert y-X\beta \Vert_2^2 + \lambda \Vert \beta \Vert_1 \\ &= \sum_{i=1}^N \left(y_i - \sum_{j=1}^p \beta_j X_{ij}\right)^2 + \lambda \sum_{j=1}^p \vert \beta_j \vert \end{align}$

Pour tous les composants actifs dans l'ensemble actif à la fin de l'étape , l'application de la condition de stationnarité KKT donne $a=\{1,...,q\}$ $\mathcal{A}_k$ $k$

\begin{aligned} 0 & = \frac{\partial L}{\partial β_{a}} (β^{*}, λ^{*}) \\ = - 2 \sum_{i = 1}^{N} X_{i a} (y_{i} - \sum_{j = 1}^{q} β_{j}^{*} X_{i j}) + λ^{*} sign (β_{a}^{*}) \end{aligned}

$\begin{align} 0 &= \frac{\partial L}{\partial \beta_a}(\beta^*,\lambda^*) \\ &= -2 \sum_{i=1}^N X_{ia} \left(y_i - \sum_{j=1}^q \beta_j^* X_{ij}\right) + \lambda^*\ \text{sign}(\beta_a^*) \end{align}$

En d'autres termes ou dans les notations matricielles (en notant que la division / multiplication par est la même) l'équation suivante est satisfaite pour tout composant actif :

λ^{*} = 2 \frac{\sum_{i = 1}^{N} X_{i a} (y_{i} - \sum_{j = 1}^{q} β_{j}^{*} X_{i j})}{sign (β_{a}^{*})}

$\lambda^* = 2 \frac{\sum_{i=1}^N X_{ia} \left(y_i - \sum_{j=1}^q \beta_j^* X_{ij}\right)}{\text{sign}(\beta_a^*)}$

sign (x)

$\text {sign}(x)$ $a$

λ^{*} = 2 sign (β_{a}^{*}) X_{a}^{T} r

$\lambda^* = 2 \ \text{sign}(\beta_a^*) X_a^T r$

Dans l'article original, les auteurs mentionnent que pour toute solution au problème LASSO, le signe d'un poids de régression actif ( ) devrait être identique au signe de la corrélation du prédicteur actif correspondant avec le résidu de régression actuel ( ), qui n'est que logique puisque doit être positif. Ainsi, nous pouvons également écrire: $\beta_a^*$ $X_a^T r$ $\lambda^*$

λ^{*} = 2 | X_{a}^{T} r |

$\lambda^* = 2 \vert X_a^T r \vert$

De plus, nous voyons qu'à l'étape finale (ajustement OLS, ), nous obtenons raison du lemme d'orthogonalité. L'utilisation de la médiane dans la mise en œuvre de MATLAB que j'ai trouvé à mon humble avis semble être un effort pour «faire la moyenne» des erreurs numériques sur tous les composants actifs: $k$ $\beta^* = (X^TX)^{-1}X^T y$ $\lambda^* = 0$

$λ^{*} = median (2 | X_{A_{k}}^{T} r_{A_{k}} |), \forall k > 1$ $\lambda^* = \text{median}( 2 \vert X_{\mathcal{A}_k}^T r_{\mathcal{A}_k} \vert ),\ \ \ \forall k > 1$

Pour calculer la valeur de quand il n'y a pas de composants actifs (étape ), on peut utiliser la même astuce que ci-dessus mais dans la limite infinitésimale où tous les poids de régression sont nuls et seul le signe du premier composant devient les questions actives (à l'étape ). Cela donne: $\lambda$ $k=1$ $b$ $k=2$

λ^{*} = 2 sign (β_{b}^{*}) X_{b}^{T} y

$\lambda^* = 2 \ \text{sign}(\beta_b^*) X_b^T y$ qui est strictement équivalent à

$λ^{*} = max (2 | X^{T} y |), for k = 1$ $\lambda^* = \max(2 \vert X^T y \vert), \text { for } k=1$

car (i) même remarque que précédemment concernant le signe des poids de régression; (ii) l'algorithme LARS détermine la composante suivante pour entrer l'ensemble actif comme celui qui est le plus corrélé avec le résiduel actuel , qui à l'étape est simplement . $b$ $k=1$ $y$

— Quantuple
source

C'est quelque chose qui est mentionné dans chaque travail de LASSO mais personne ne tient à l'expliquer (je ne sais pas si c'est très basique ou quoi, mais cela m'a pris beaucoup de temps pour le comprendre). Je veux juste souligner que, bien que "équivalent", vous ne pouvez passer d'une formulation à l'autre (contrainte à non contrainte et vice versa) qu'une fois que vous avez résolu le problème d'optimisation et que vous avez les poids optimaux.

— skd

Je ressens la même chose! En ce qui concerne votre remarque, oui en effet. Ici, cela se reflète dans le , qui ne peut être calculé qu'une fois que les poids de régression optimaux ont été obtenus à la fin de l'étape .

r_{A_{k}}

$r_{\mathcal{A}_k}$

β_{k}

$\beta_k$

k

$k$

— Quantuple