Relation LASSO entre et

Ma compréhension de la régression LASSO est que les coefficients de régression sont sélectionnés pour résoudre le problème de minimisation:

min_{β} ‖ y - X β ‖_{2}^{2} s . t . ‖ β ‖_{1} \leq t

$\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t$

En pratique, cela se fait en utilisant un multiplicateur de Lagrange, ce qui rend le problème à résoudre

min_{β} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1$

Quelle est la relation entre $\lambda$ et $t$ ? Wikipédia déclare simplement que cela "dépend des données".

Pourquoi je m'inquiète? D'abord pour la curiosité intellectuelle. Mais je suis également préoccupé par les conséquences de la sélection de $\lambda$ par validation croisée.

Plus précisément, si je fais une validation croisée n fois, j'adapte n modèles différents à n partitions différentes de mes données d'entraînement. Je compare ensuite la précision de chacun des modèles sur les données inutilisées pour un donné $\lambda$ . Mais le même $\lambda$ implique une contrainte différente ( $t$ ) pour différents sous-ensembles de données (c'est-à-dire que $t=f(\lambda)$ est "dépendant des données").

Le problème de validation croisée que je veux vraiment résoudre n'est-il pas vraiment de trouver le $t$ qui offre le meilleur compromis précision-biais?

Je peux avoir une idée approximative de la taille de cet effet dans la pratique en calculant pour chaque division de validation croisée et et en regardant la distribution résultante. Dans certains cas, la contrainte implicite ( ) peut varier considérablement de manière silencieuse dans mes sous-ensembles de validation croisée. Où j'entends essentiellement le coefficient de variation de . $\|\beta\|_1$ $\lambda$ $t$ $t>>0$

— ConstantAmateur
source

Voter pour annuler le downvote inexpliqué. La question est bien en dehors de mon expertise mais elle semble raisonnablement formulée.

— mkt

Ceci est la solution standard pour la régression des crêtes :

β = {(X^{'} X + λ I)}^{- 1} X^{'} y

$\beta = \left( X'X + \lambda I \right) ^{-1} X'y$

Nous savons également que , il doit donc être vrai que $\| \beta \| = t$

‖ {(X^{'} X + λ I)}^{- 1} X^{'} y ‖ = t

$\| \left( X'X + \lambda I \right) ^{-1} X'y \| = t$ .

ce qui n'est pas facile à résoudre pour . $\lambda$

Votre meilleur pari est de continuer à faire ce que vous faites: calculer sur le même sous-échantillon des données à travers plusieurs valeurs . $t$ $\lambda$

— shadowtalker
source