Ajustement régularisé à partir de données résumées: choix du paramètre

Dans le prolongement de ma question précédente , la solution aux équations normales pour la régression des crêtes est donnée par:

Pourriez-vous offrir des conseils pour choisir le paramètre de régularisation $\lambda$. De plus, comme la diagonale de croît avec le nombre d'observations$X^TX$$m$ , devrait$\lambda$ être également fonction de $m$?

Ma réponse sera basée sur une belle revue du problème par Anders Bjorkstorm Ridge régression et problèmes inverses (je recommanderais de lire l'article entier).

La partie 4 de cette revue est consacrée à la sélection d'un paramètre $\lambda$ dans la régression de crête introduisant plusieurs approches clés:

1. trace de crête correspond à l'analyse graphique de$\hat{\beta}_{i,\lambda}$ contre $\lambda$. Un tracé typique dépeindra un comportement instable (pour un vrai problème mal affiché, vous devez être sûr que vous avez besoin de cette régularisation)$\hat{\beta}_{i,\lambda}$ estimations pour $\lambda$proche de zéro, et presque constant à partir d'un certain point (en gros, nous devons détecter une région d'intersection à comportement constant pour tous les paramètres). Cependant, la décision de savoir où commence ce comportement presque constant est quelque peu subjective. La bonne nouvelle pour cette approche est qu'elle ne nécessite pas d'observer$X$ et $y$.
2. $L$-courbe il trace la norme euclidienne du vecteur des paramètres estimés$|\hat{{\beta}}_\lambda|$ contre la norme résiduelle $|y - X\hat{\beta}_\lambda|$. La forme est généralement proche de la lettre$L$ donc il existe un coin qui détermine où appartient le paramètre optimal (on peut choisir le point dans $L$courbe où ce dernier atteint la courbure maximale , mais il est préférable de rechercher l 'article de Hansen pour plus de détails).
3. Pour la validation croisée, on choisit souvent une approche simple de «laisser de côté»,$\lambda$qui maximise (ou minimise) certains critères de précision des prévisions (vous en avez un large éventail, RMSE et MAPE sont les deux pour commencer). Les difficultés avec 2. et 3. sont que vous devez observer$X$ et $y$ pour les mettre en pratique.