Quelle est la signification du chemin de régularisation dans LASSO ou les problèmes de rareté associés?

Si nous sélectionnons différentes valeurs du paramètre , nous pourrions obtenir des solutions avec différents niveaux de rareté. Cela signifie-t-il que le chemin de régularisation est de savoir comment sélectionner la coordonnée qui pourrait obtenir une convergence plus rapide? Je suis un peu confus même si j'ai souvent entendu parler de la rareté. De plus, pourriez-vous donner une description simple des solutions existantes au problème?$\lambda$LASSO

Supposons que vous ayez un modèle avec $p$ variables prédictives: $x_1, x_2, \ldots x_p$ . Définissez $\lambda$ sur une valeur initiale et estimez vos coefficients $\beta_1, \beta_2, \ldots \beta_p$ . Ces coefficients peuvent être considérés comme un point dans l'espace $p$ dimensionnel. *

Répétez la procédure pour votre prochaine valeur de et obtenez un autre ensemble d'estimations. Ceux-ci forment un autre point dans l'espace dimensionnel. Faites cela pour toutes vos valeurs , et vous obtiendrez une séquence de ces points. Cette séquence est le chemin de régularisation.$\lambda$$p$$\lambda$

* Il y a aussi le terme d'interception donc tout cela se déroule techniquement dans un espace dimensionnel, mais peu importe. Quoi qu'il en soit, la plupart des programmes net / lasso élastiques normaliseront les variables avant d'ajuster le modèle, donc sera toujours à 0.$\beta_0$$(p+1)$$\beta_0$

Une explication graphique de la solution Lasso peut être trouvée aux pages 69-73 du texte "Elements of Statistical Learning" (version en ligne ici ).