Peut augmentent lorsque

11

Si $\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1$ , $\|\beta^*\|_2$ augmenter lorsque $\lambda$ augmente?

Je pense que c'est possible. Bien que $\|\beta^*\|_1$ n'augmente pas lorsque $\lambda$ augmente (ma preuve ), $\|\beta^*\|_2$ peut augmenter. La figure ci-dessous montre une possibilité. Lorsque $\lambda$ augmente, si $\beta^*$ déplace (linéairement) de $P$ vers $Q$ , alors $\|\beta^*\|_2$ augmente tandis que $\|\beta^*\|_1$ diminue. Mais je ne sais pas comment construire un exemple concret (ie, pour construire $X$ et $y$ ), pour que le profil de $\beta^*$ démontre ce comportement. Des idées? Je vous remercie.

entrez la description de l'image ici

lasso

— ziyuang
source

10

La réponse est oui, et vous avez là une preuve graphique dans . $\ell_2$

Recherchez la définition de l'équivalence des normes vectorielles. Vous constaterez que où est la dimension du vecteur . Par conséquent, il existe une certaine marge de manœuvre pour la norme , par rapport à la norme .

‖ x ‖_{2} \leq ‖ x ‖_{1} \leq \sqrt{n} ‖ x ‖_{2},

$\|x\|_2 \leq \|x\|_1 \leq \sqrt{n}\|x\|_2,$

n

$n$

x

$x$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

En fait, le problème que vous souhaitez résoudre peut être défini comme suit:

Trouvez tel que en même temps $d$

‖ x + d ‖_{2} > ‖ x ‖_{2}

$\|x + d\|_2 > \|x\|_2$

‖ x + d ‖_{1} < ‖ x ‖_{1} .

$\|x + d\|_1 < \|x\|_1.$

carré la première inégalité, développez et voyez que et que, en supposant que et , nous obtenons de la deuxième inégalité que nous devons avoir Tout qui remplit ces contraintes augmentera la norme tout en diminuant la norme .

2 \sum_{i} x_{i} d_{i} > - \sum_{i} d_{i}^{2}

$2\sum_i x_id_i > -\sum_i d_i^2$

x_{i} \geq 0

$x_i\geq0$

x_{i} + d_{i} \geq 0

$x_i+d_i\geq0$

\sum_{i} d_{i} < 0.

$\sum_i d_i < 0.$

d

$d$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

Dans votre exemple, , , et et $d\approx[-0.4, 0.3]^T$ $x:=P\approx[0.5, 0.6]^T$

\sum_{i} d_{i} \approx - 0.1 < 0,

$\sum_i d_i\approx-0.1<0,$

2 \sum_{i} P_{i} d_{i} \approx - 0.04 > - 0.25 \approx - \sum_{i} d_{i}^{2} .

$2\sum_i P_id_i\approx-0.04 > -0.25 \approx -\sum_i d_i^2.$

— Tommy L
source

Mais comment est-il lié à la construction du et du ?

X

$X$

y

$y$

— ziyuang

3

Merci pour la réponse de @ TommyL, mais sa réponse n'est pas directe sur la construction de et . En quelque sorte, je «résous» cela moi-même. Premièrement, lorsque augmente, n'augmentera pas lorsque chaque diminuera de façon monotone. Cela se produit lorsque est orthonormé, dans lequel nous avons $X$ $y$ $\lambda$ $\|\beta^*\|_2$ $\beta^*_i$ $X$

β_{i}^{*} = s i g n (β_{i}^{L S}) (β_{i}^{L S} - λ)_{+}

$\beta^*_i=\mathrm{sign}(\beta_i^{\mathrm{LS}})(\beta_i^{\mathrm{LS}}-\lambda)_+$

Géométriquement, dans cette situation, se déplace perpendiculairement au contour de la norme , donc ne peut pas augmenter. $\beta^*$ $\ell_1$ $\|\beta^*\|_2$

En fait, Hastie et al. mentionné dans l'article La régression étape par étape et le lasso monotone , une condition nécessaire et suffisante de la monotonie des chemins de profil:

entrez la description de l'image ici

Dans la section 6 de l'article, ils ont construit un ensemble de données artificielles basées sur des fonctions de base linéaire par morceaux qui violent la condition ci-dessus, montrant la non-monotonie. Mais si nous avons de la chance, nous pouvons également créer un ensemble de données aléatoires démontrant le comportement similaire mais de manière plus simple. Voici mon code R:

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

J'ai délibérément laissé les colonnes de fortement corrélées (loin du cas orthonormal), et le vrai a de grandes entrées positives et négatives. Voici le profil de (sans surprise seulement 5 variables sont activées): $X$ $\beta$ $\beta^*$

entrez la description de l'image ici

et la relation entre et : $\lambda$ $\|\beta^*\|_2$

entrez la description de l'image ici

Nous pouvons donc voir que pour un certain intervalle de , augmente à mesure que augmente. $\lambda$ $\|\beta^*\|_2$ $\lambda$

— ziyuang
source