Quels sont les «premiers articles» les plus importants sur les méthodes de régularisation?

Dans plusieurs réponses, j'ai vu des utilisateurs de CrossValidated suggérer à OP de trouver les premiers articles sur Lasso, Ridge et Elastic Net.

Pour la postérité, quelles sont les œuvres phares sur Lasso, Ridge et Elastic Net?

Puisque vous cherchez simplement des références, voici la liste:

1. Tikhonov, Andrey Nikolaïevitch (1943). "Об устойчивости обратных задач" [Sur la stabilité des problèmes inverses]. Doklady Akademii Nauk SSSR. 39 (5): 195-198.
2. Tikhonov, AN (1963). "О решении некорректно поставленных задач и методе регуляризации". Doklady Akademii Nauk SSSR. 151: 501–504 .. Traduit dans "Solution de problèmes mal formulés et méthode de régularisation". Mathématiques soviétiques. 4: 1035-1038.
3. Hoerl AE, 1962, Application of ridge analysis to regression problems, Chemical Engineering Progress, 1958, 54–59.
4. Arthur E. Hoerl; Robert W. Kennard (1970). "Régression de crête: estimation biaisée pour des problèmes non orthogonaux". Technométrie. 12 (1): 55–67. doi: 10.2307 / 1267351. https://pdfs.semanticscholar.org/910e/d31ef5532dcbcf0bd01a980b1f79b9086fca.pdf
5. Tibshirani, Robert (1996). "Rétrécissement et sélection de régression via le Lasso" (PostScript). Journal de la Royal Statistical Society, série B. 58 (1): 267–288. MR 1379242 https://statweb.stanford.edu/~tibs/lasso/lasso.pdf
6. Zou, H. et Hastie, T. (2005). Régularisation et sélection variable via le filet élastique. Journal de la Royal Statistical Society, série B. 67: pp. 301–320. https://web.stanford.edu/~hastie/Papers/B67.2%20%282005%29%20301-320%20Zou%20&%20Hastie.pdf

Un article historiquement important qui, je crois, a d'abord démontré que les estimateurs de biais peuvent entraîner une amélioration des estimations pour les modèles linéaires ordinaires:

• Stein, C., 1956, janvier. Inadmissibilité de l'estimateur habituel pour la moyenne d'une distribution normale multivariée. Dans Actes du troisième symposium de Berkeley sur les statistiques mathématiques et les probabilités (Vol. 1, n ° 399, pp. 197-206).

Quelques sanctions plus modernes et importantes incluent SCAD et MCP:

• Fan, J. et Li, R., 2001. Sélection de variables via la vraisemblance pénalisée non concave et ses propriétés oracle. Journal de l'American Statistics Association, 96 (456), pp.1348-1360.
• Zhang, CH, 2010. Sélection de variables presque sans biais sous pénalité concave minimax. The Annals of statistics, 38 (2), pp.894-942.

Et un peu plus sur de très bons algorithmes pour obtenir des estimations en utilisant ces méthodes:

• Breheny, P. et Huang, J., 2011. Algorithmes de descente de coordonnées pour la régression pénalisée non convexe, avec des applications à la sélection des caractéristiques biologiques. Les annales des statistiques appliquées, 5 (1), p.232.
• Mazumder, R., Friedman, JH et Hastie, T., 2011. Sparsenet: Coordonner la descente avec des pénalités non convexes. Journal de l'American Statistical Association, 106 (495), pp.1125-1138.

Il convient également de regarder cet article sur le sélecteur de Dantzig qui est très étroitement lié au LASSO, mais (je crois) il introduit l'idée d'inégalités oracle pour les estimateurs statistiques qui sont une idée assez puissante

• Candes, E. et Tao, T., 2007. Le sélecteur de Dantzig: estimation statistique lorsque p est beaucoup plus grand que n. The Annals of Statistics, pp.2313-2351.