Statistiques et Big Data lasso

3

Quand devrais-je utiliser le lasso vs la crête?

Supposons que je veuille estimer un grand nombre de paramètres et que je veuille pénaliser certains d'entre eux car je pense qu'ils devraient avoir peu d'effet par rapport aux autres. Comment décider quel schéma de pénalisation utiliser? Quand la régression de crête est-elle plus appropriée? Quand devrais-je utiliser le lasso?

167 regression lasso ridge-regression

6

Pourquoi la norme L1 pour les modèles épars

Je lis les livres sur la régression linéaire. Il y a quelques phrases sur les normes L1 et L2. Je les connais, mais je ne comprends pas pourquoi la norme L1 pour les modèles clairsemés. Quelqu'un peut utiliser donner une explication simple?

97 regression lasso regularization ridge-regression

2

Quand utiliser les méthodes de régularisation pour la régression?

Dans quelles circonstances faut-il envisager d'utiliser des méthodes de régularisation (régression de crête, de lasso ou de moindre angle) au lieu de MCO? Au cas où cela aiderait à orienter la discussion, mon intérêt principal est d'améliorer la précision prédictive.

83 regression least-squares lasso ridge-regression fused-lasso

3

Qu'est-ce que le lasso dans l'analyse de régression?

Je cherche une définition non technique du lasso et de son utilisation.

82 regression lasso regularization shrinkage

3

Un exemple: régression LASSO utilisant glmnet pour les résultats binaires

Je commence à me familiariser avec l’utilisation de glmnetavec LASSO Regression, où mon résultat d’intérêt est dichotomique. J'ai créé un petit cadre de données fictif ci-dessous: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- …

78 r self-study lasso regression interpretation anova statistical-significance survey conditional-probability independence naive-bayes graphical-model r time-series forecasting arima r forecasting exponential-smoothing bootstrap outliers r regression poisson-distribution zero-inflation genetic-algorithms machine-learning feature-selection cart categorical-data interpretation descriptive-statistics variance multivariate-analysis covariance-matrix r data-visualization generalized-linear-model binomial proportion pca matlab svd time-series correlation spss arima chi-squared curve-fitting text-mining zipf probability categorical-data distance group-differences bhattacharyya regression variance mean data-visualization variance clustering r standard-error association-measure somers-d normal-distribution integral numerical-integration bayesian clustering python pymc nonparametric-bayes machine-learning svm kernel-trick hyperparameter poisson-distribution mean continuous-data univariate missing-data dag python likelihood dirichlet-distribution r anova hypothesis-testing statistical-significance p-value rating data-imputation censoring threshold

3

Pourquoi le Lasso fournit-il une sélection variable?

Je lisais Éléments d'apprentissage statistique et j'aimerais savoir pourquoi le lasso fournit une sélection de variables et non la régression de crête. Les deux méthodes minimisent la somme des carrés résiduels et ont une contrainte sur les valeurs possibles des paramètres . Pour le lasso, la contrainte est , alors …

76 regression feature-selection lasso regularization

5

Quel problème les méthodes de rétrécissement résolvent-elles?

La saison des vacances m'a donné l'occasion de m'installer près du feu avec Les éléments d'apprentissage statistique . Venant d’une perspective économétrique (fréquentiste), j’ai du mal à comprendre les utilisations de méthodes de réduction telles que la régression de crête, le lasso et la régression du moindre angle (LAR). En …

61 lasso ridge-regression shrinkage lars

6

Erreurs-types pour la prédiction de lasso utilisant R

J'essaie d'utiliser un modèle LASSO pour la prévision et je dois estimer les erreurs-types. Sûrement quelqu'un a déjà écrit un paquet pour faire ceci. Mais pour autant que je sache, aucun des paquets sur CRAN qui font des prédictions à l'aide d'un LASSO ne renverra d'erreurs standard pour ces prédictions. …

60 r standard-error prediction lasso

9

Quels sont les inconvénients de l’utilisation du lasso pour la sélection variable pour la régression?

D'après ce que je sais, utiliser un lasso pour la sélection de variables résout le problème des entrées corrélées. De plus, étant donné qu’elle est équivalente à la régression par le plus petit angle, elle n’est pas lente en calcul. Cependant, beaucoup de personnes (par exemple des personnes que je …

60 regression feature-selection lasso

2

Pourquoi le retrait fonctionne-t-il?

Afin de résoudre les problèmes de sélection de modèle, un certain nombre de méthodes (LASSO, régression de crête, etc.) réduiront les coefficients des variables prédictives vers zéro. Je cherche une explication intuitive de la raison pour laquelle cela améliore la capacité de prédiction. Si le véritable effet de la variable …

55 lasso regularization ridge-regression intuition shrinkage

2

Dérivation d'une solution de lasso sous forme fermée

Pour le problème de lasso tels que \ | \ beta \ | _1 \ leq t . Je vois souvent le résultat de seuillage souple \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ text {LS}} _ j) (| \ beta_j ^ {\ text …

52 lasso

3

Comment présenter les résultats d'un lasso utilisant glmnet?

J'aimerais trouver des prédicteurs pour une variable dépendante continue sur un ensemble de 30 variables indépendantes. J'utilise la régression de Lasso telle qu'implémentée dans le paquet glmnet de R. Voici du code factice: # generate a dummy dataset with 30 predictors (10 useful & 20 useless) y=rnorm(100) x1=matrix(rnorm(100*20),100,20) x2=matrix(y+rnorm(100*10),100,10) x=cbind(x1,x2) …

40 r multiple-regression lasso glmnet communication

5

Utilisation de LASSO à partir du paquetage lars (ou glmnet) en R pour la sélection de variables

Désolé si cette question pose un peu de base. Je cherche à utiliser la sélection de variables LASSO pour un modèle de régression linéaire multiple dans R. J'ai 15 prédicteurs, dont l'un est catégorique (cela posera-t-il un problème?). Après avoir réglé mes et j'utilise les commandes suivantes:xxxyyy model = lars(x, …

39 feature-selection lasso glmnet lars

6

Régression par le plus petit angle vs lasso

La régression aux angles moindres et le lasso tendent à produire des chemins de régularisation très similaires (identiques sauf lorsqu'un coefficient passe à zéro). Ils peuvent tous deux être ajustés efficacement par des algorithmes pratiquement identiques. Y a-t-il jamais une raison pratique de préférer une méthode à une autre?

39 regression lasso

2

Si seule la prévision présente un intérêt, pourquoi utiliser le lasso sur la crête?

À la page 223 de l' Introduction à l'apprentissage statistique , les auteurs résument les différences entre la régression de la crête et le lasso. Ils fournissent un exemple (Figure 6.9) du cas où "le lasso tend à surpasser la régression de la crête en termes de biais, de variance …

37 machine-learning prediction lasso regularization ridge-regression

Questions marquées «lasso»