Zou et al. "Sur les" degrés de liberté "du lasso" (2007) montrent que le nombre de coefficients non nuls est une estimation non biaisée et cohérente des degrés de liberté du lasso.
Cela me semble un peu contre-intuitif.
- Supposons que nous ayons un modèle de régression (où les variables sont à moyenne nulle)
- Supposons qu'un OLS sans restriction estimation de est β O L S = 0,5 . Elle pourrait à peu près coïncider avec une estimation LASSO de β pour une intensité de pénalité très faible.
- Supposons en outre que l'estimation LASSO pour une intensité de pénalité particulière est β L A S S O , λ * = 0,4 . Par exemple, λ ∗ pourrait être le «optimal» λ pour l'ensemble de données à portée de main trouvé en utilisant la validation croisée.
- Si je comprends bien, dans les deux cas, les degrés de liberté sont de 1 car les deux fois il y a un coefficient de régression non nul.
Question:
- Comment viennent les degrés de liberté dans les deux cas sont les mêmes , même si β L A S S O , λ * = 0,4 suggère moins « liberté » dans l' ajustement de β O L S = 0,5 ?
Les références:
- Zou, Hui, Trevor Hastie et Robert Tibshirani. "Sur les" degrés de liberté "du lasso." The Annals of Statistics 35.5 (2007): 2173-2192.