Pourquoi ma dérivation d'une solution de lasso de forme fermée est-elle incorrecte?

Le problème du lasso a la solution de forme fermée: \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ text {LS}} _ j) (| \ beta_j ^ {\ text {LS }} | - \ alpha) ^ + si X a des colonnes orthonormées. Cela a été montré dans ce fil: Dérivation de la solution de lasso de forme fermée .

$$\beta^{\text{lasso}}= \operatorname*{argmin}_\beta \| y-X\beta\|^2_2 + \alpha \| \beta\|_1$$ $$\beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\alpha)^+$$ $X$

Cependant, je ne comprends pas pourquoi il n'y a pas de solution sous forme fermée en général. En utilisant des sous-différentiels, j'ai obtenu ce qui suit.

( $X$ est une matrice $n \times p$ )

$$f(\beta)=\|{y-X\beta}\|_2^2 + \alpha\|{\beta}\|_1$$ $$=\sum_{i=1}^n (y_i-X_i\beta)^2 + \alpha \sum_{j=1}^p |\beta_j|$$ ( $X_i$ est la i-ème ligne de $X$ ) $$= \sum_{i=1}^n y_i^2 -2\sum_{i=1}^n y_i X_i \beta + \sum_{i=1}^n \beta^T X_i^T X_i \beta + \alpha \sum_{j=1}^p |\beta_j|$$ $$\Rightarrow \frac{\partial f}{\partial \beta_j}= -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j + \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$$ $$= \begin{cases} -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j + \alpha \text{ for } \beta_j > 0 \\ -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j - \alpha \text{ for } \beta_j < 0 \\ [-2\sum_{i=1}^ny_i X_{ij} - \alpha, -2\sum_{i=1}^ny_i X_{ij} + \alpha] \text{ for } \beta_j = 0 \end{cases}$$ Avec $\frac{\partial f}{\partial \beta_j} = 0$ nous obtenons

$$\beta_j = \begin{cases} \left( 2(\sum_{i=1}^ny_i X_{ij}) - \alpha \right)/ 2\sum_{i=1}^n X_{ij}^2 &\text{for } \sum_{i=1}^ny_i X_{ij} > \alpha \\ \left( 2(\sum_{i=1}^ny_i X_{ij}) + \alpha \right)/ 2\sum_{i=1}^n X_{ij}^2 &\text{for } \sum_{i=1}^ny_i X_{ij} < -\alpha \\ 0 &\text{ for }\sum_{i=1}^ny_i X_{ij} \in [-\alpha, \alpha] \end{cases}$$

Est-ce que quelqu'un voit où je me suis trompé?

Répondre:

Si nous écrivons le problème en termes de matrices, nous pouvons voir très facilement pourquoi une solution de forme fermée n'existe que dans le cas orthonormé avec $X^TX= I$ :

$$f(\beta)= \| y-X\beta\|^2_2 + \alpha \| \beta\|_1$$ $$= y^Ty -2\beta^TX^Ty + \beta^TX^TX\beta + \alpha \| \beta\|_1$$ $$\Rightarrow \nabla f(\beta)=-2X^Ty + 2X^TX\beta + \nabla(\alpha| \beta\|_1)$$ (J'ai pris plusieurs mesures à la fois ici. Cependant, jusqu'à présent, ceci est complètement analogue à la dérivation de la solution des moindres carrés. Vous devriez donc pouvoir y trouver les étapes manquantes.) $$\Rightarrow \frac{\partial f}{\partial \beta_j}=-2X^T_{j} y + 2(X^TX)_j \beta + \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$$

Avec $\frac{\partial f}{\partial \beta_j} = 0$ nous obtenons

$$2(X^TX)_j \beta =2X^T_{j} y - \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$$ $$\Leftrightarrow 2(X^TX)_{jj} \beta_j = 2X^T_{j} y - \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|) - 2\sum_{i=1,i\neq j}^p(X^TX)_{ji}\beta_i$$

Nous pouvons voir maintenant que notre solution pour l'un dépend de tous les autres donc il n'est pas clair comment procéder à partir d'ici. Si est orthonormé, nous avons donc il existe certainement une solution de forme fermée dans ce cas.$\beta_j$$\beta_{i\neq j}$$X$$2(X^TX)_j \beta = 2(I)_j \beta = 2\beta_j$

Merci à Guðmundur Einarsson pour sa réponse, sur laquelle j'ai développé ici. J'espère que cette fois c'est correct :-)

Cela se fait normalement avec le moins de régression angulaire, vous pouvez trouver l' article ici .

Désolé de ma confusion au début, je vais essayer à nouveau.

Donc, après l'extension de votre fonction vous obtenez$f(\beta)$

$$f(\beta)=\sum_{i=1}^n y_i^2 -2\sum_{i=1}^n y_i X_i \beta + \sum_{i=1}^n \beta^T X_i^T X_i \beta + \alpha \sum_{j=1}^p |\beta_j|$$

Ensuite, vous calculez la dérivée partielle par rapport à . Ma préoccupation est dans votre calcul de la dérivée partielle du dernier terme avant la norme 1, c'est-à-dire le terme quadratique. Examinons-le plus en détail. Nous avons cela:$\beta_j$

$$X_i\beta = \beta^T X_i^T = (\beta_1 X_{i1}+\beta_2 X_{i2}+\cdots+ \beta_p X_{ip})$$ Vous pouvez donc essentiellement réécrire votre terme quadratique comme: Nous pouvons maintenant utiliser la règle de chaîne pour calculer la dérivée de ce wrt : $$\sum_{i=1}^n \beta^T X_i^T X_i \beta = \sum_{i=1}^n (X_i \beta)^2$$ $\beta_j$ $$\frac{\partial }{\partial \beta_j} \sum_{i=1}^n (X_i \beta)^2 = \sum_{i=1}^n \frac{\partial }{\partial \beta_j} (X_i \beta)^2 = \sum_{i=1}^n 2(X_i \beta)X_{ij}$$

Alors maintenant, votre problème ne se simplifie pas aussi facilement, car vous avez tous les coefficients présents dans chaque équation.$\beta$

Cela ne répond pas à votre question de savoir pourquoi il n'y a pas de solution de forme fermée du Lasso, je pourrais ajouter quelque chose plus tard.