Questions marquées «lasso»

Une méthode de régularisation pour les modèles de régression qui réduit les coefficients vers zéro, rendant certains d'entre eux égaux à zéro. Ainsi, le lasso effectue la sélection des fonctionnalités.

3
LASSO avec des termes d'interaction - est-ce correct si les effets principaux sont réduits à zéro?
La régression LASSO réduit les coefficients vers zéro, permettant ainsi une sélection efficace du modèle. Je crois que dans mes données, il existe des interactions significatives entre les covariables nominales et continues. Cependant, les «principaux effets» du vrai modèle ne sont pas nécessairement significatifs (non nuls). Bien sûr, je ne …
2
Lasso bayésien vs lasso ordinaire
Différents logiciels d'implémentation sont disponibles pour le lasso . Je sais que beaucoup de choses ont été discutées entre l'approche bayésienne et l'approche fréquentiste dans différents forums. Ma question est très spécifique au lasso - Quelles sont les différences ou les avantages du lasso baysian par rapport au lasso ordinaire …
3
Pourquoi Lars et Glmnet donnent-ils des solutions différentes au problème du Lasso?
Je veux mieux comprendre les packages R Larset Glmnet, qui sont utilisés pour résoudre le problème Lasso: (pour Variables et échantillons, voir www.stanford.edu/~hastie/Papers/glmnet.pdf à la page 3)m i n( β0β) ∈ Rp + 1[ 12 N∑i = 1N( yje- β0- xTjeβ)2+ λ | | β| |l1]mjen(β0β)∈Rp+1[12N∑je=1N(yje-β0-XjeTβ)2+λ||β||l1]min_{(\beta_0 \beta) \in R^{p+1}} \left[\frac{1}{2N}\sum_{i=1}^{N}(y_i-\beta_0-x_i^T\beta)^2 …
1
Si le LASSO est équivalent à une régression linéaire avec un Laplace avant, comment peut-il y avoir une masse sur des ensembles avec des composants à zéro?
loss=∥y−Xβ∥22+λ∥β∥1loss=‖y−Xβ‖22+λ‖β‖1 {\rm loss} = \| y - X \beta \|_2^2 + \lambda \| \beta \|_1 exp(−λ∥β∥1)exp⁡(−λ‖β‖1) \exp(-\lambda \| \beta \|_1 ) λλ\lambda Considérons que du point de vue bayésien, nous pouvons calculer la probabilité postérieure que, disons, les estimations de paramètres non nuls se trouvent dans une collection d'intervalles donnée …
5
Avons-nous encore besoin de sélectionner des fonctionnalités lors de l'utilisation d'algorithmes de régularisation?
J'ai une question concernant la nécessité d'utiliser des méthodes de sélection d'entités (forêts aléatoires, valeur d'importance des caractéristiques ou méthodes de sélection d'entités univariées, etc.) avant d'exécuter un algorithme d'apprentissage statistique. Nous savons que pour éviter le sur-ajustement, nous pouvons introduire une pénalité de régularisation sur les vecteurs de poids. …
2
KKT versus formulation non contrainte de régression au lasso
La régression pénalisée L1 (alias lasso) est présentée en deux formulations. Soit les deux fonctions objectives Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1.Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1. Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1. Alors les deux formulations différentes sont argminβQ1argminβQ1 \text{argmin}_\beta \; Q_1 sous réserve de ||β||1≤t,||β||1≤t, ||\beta||_1 \leq t, et, de façon …
2
Estimation de la valeur R au carré et de la signification statistique à partir d'un modèle de régression pénalisé
J'utilise le package R pénalisé pour obtenir des estimations réduites des coefficients pour un ensemble de données où j'ai beaucoup de prédicteurs et peu de connaissances sur ceux qui sont importants. Après avoir choisi les paramètres de réglage L1 et L2 et que je suis satisfait de mes coefficients, existe-t-il …
2
Comment est-il logique de faire OLS après la sélection de variable LASSO?
Récemment, j'ai découvert que dans la littérature d'économétrie appliquée, lorsqu'il s'agit de problèmes de sélection de caractéristiques, il n'est pas rare d'effectuer LASSO suivi d'une régression OLS en utilisant les variables sélectionnées. Je me demandais comment qualifier la validité d'une telle procédure. Cela causera-t-il des problèmes tels que des variables …
1
Que conclure de cette intrigue au lasso (glmnet)
Voici le tracé de glmnet avec alpha par défaut (1, donc lasso) en utilisant mtcarsl'ensemble de données dans R avec mpgcomme DV et d'autres comme variables prédictives. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Que pouvons-nous conclure de ce graphique concernant différentes variables, en particulier am, cylet wt(lignes rouges, noires et bleu clair)? Comment formulerions-nous …
1
Existe-t-il un ensemble clair de conditions dans lesquelles le lasso, la crête ou les chemins de solution nette élastique sont monotones?
La question Que conclure de ce graphique du lasso (glmnet) montre des chemins de solution pour l'estimateur du lasso qui ne sont pas monotones. C'est-à-dire que certains des coefficients augmentent en valeur absolue avant de rétrécir. J'ai appliqué ces modèles à plusieurs types d'ensembles de données et je n'ai jamais …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.