Statistiques et Big Data lasso

3

Pourquoi ne voit-on que les régularisations

Je suis juste curieux de savoir pourquoi il n’ya habituellement que des régularisations des normes L1L1L_1 et L2L2L_2 . Y a-t-il des preuves de la raison pour laquelle elles sont meilleures?

36 lasso regularization ridge-regression

3

Comment estimer le paramètre de retrait dans la régression de Lasso ou de crête avec des variables> 50K?

Je souhaite utiliser la régression de Lasso ou de crête pour un modèle comportant plus de 50 000 variables. Je souhaite utiliser un logiciel en mode R. Comment puis-je estimer le paramètre de retrait ( λλ\lambda )? Modifications: Voici le point je me suis levé à: set.seed (123) Y <- …

36 r lasso ridge-regression high-dimensional

2

Qu'est-ce que la régularisation du réseau élastique et comment résoudre les inconvénients de Ridge (

La régularisation par filet élastique est-elle toujours préférée à Lasso & Ridge, car elle semble résoudre les inconvénients de ces méthodes? Quelle est l'intuition et quel est le calcul derrière le filet élastique?

35 regression lasso regularization ridge-regression elastic-net

1

La régression avec la régularisation L1 est-elle identique à celle de Lasso, et avec la régularisation L2 est-elle identique à la régression de crête? Et comment écrire «Lasso»?

Je suis un ingénieur en logiciel apprenant à apprendre les machines, en particulier grâce aux cours d'apprentissage automatique d' Andrew Ng . En étudiant la régression linéaire avec la régularisation , j'ai trouvé des termes déroutants: Régression avec régularisation L1 ou régularisation L2 LASSO Régression Ridge Donc mes questions: La …

33 regression terminology lasso regularization ridge-regression

4

Filet Ridge, lasso et élastique

Comment les méthodes de régularisation des arêtes, LASSO et des filets élastiques se comparent-elles? Quels sont leurs avantages et inconvénients respectifs? Tout bon document technique ou note de cours serait également apprécié.

33 references lasso regularization ridge-regression elastic-net

3

Est-il possible de calculer AIC et BIC pour les modèles de régression au lasso?

Est-il possible de calculer les valeurs AIC ou BIC pour les modèles de régression au lasso et d'autres modèles régularisés où les paramètres n'entrent que partiellement dans l'équation. Comment détermine-t-on les degrés de liberté? J'utilise R pour adapter les modèles de régression au lasso avec la glmnet()fonction du glmnetpackage, et …

31 r model-selection lasso aic bic

2

Quand la régularisation L1 fonctionnera-t-elle mieux que L2 et vice versa?

Remarque: Je sais que L1 a une propriété de sélection de fonction. J'essaie de comprendre lequel choisir lorsque la sélection des fonctionnalités est complètement hors de propos. Comment décider quelle régularisation (L1 ou L2) utiliser? Quels sont les avantages et les inconvénients de chacune des régularisations L1 / L2? Est-il …

30 regression lasso regularization ridge-regression

3

l'opportunité de remettre à l'échelle l'indicateur / les prédicteurs binaires / fictifs pour LASSO

Pour le LASSO (et d'autres procédures de sélection de modèle), il est crucial de redimensionner les prédicteurs. La recommandation générale que je suis consiste simplement à utiliser une normalisation de 0 moyenne, 1 écart-type pour les variables continues. Mais que faire avec les nuls? Par exemple, certains exemples appliqués de …

30 predictive-models model-selection lasso standardization multidimensional-scaling

2

Ajuster un modèle ARIMAX avec régularisation ou pénalisation (par exemple avec le lasso, le filet élastique ou la régression de crête)

J'utilise la fonction auto.arima () dans le package de prévision pour adapter les modèles ARMAX avec une variété de covariables. Cependant, j'ai souvent un grand nombre de variables à sélectionner et je me retrouve généralement avec un modèle final qui fonctionne avec un sous-ensemble d'entre elles. Je n'aime pas les …

29 r time-series lasso regularization elastic-net

1

Pourquoi ma dérivation d'une solution de lasso de forme fermée est-elle incorrecte?

Le problème du lasso a la solution de forme fermée: \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ text {LS}} _ j) (| \ beta_j ^ {\ text {LS }} | - \ alpha) ^ + si X a des colonnes orthonormées. Cela a …

28 regression lasso regularization

2

La standardisation avant Lasso est-elle vraiment nécessaire?

J'ai lu trois principales raisons de normaliser les variables avant quelque chose comme la Lassorégression: 1) Interprétabilité des coefficients. 2) Capacité de classer l'importance du coefficient en fonction de la magnitude relative des estimations du coefficient après retrait. 3) Pas besoin d'intercepter. Mais je m'interroge sur le point le plus …

28 normalization lasso standardization regularization shrinkage

1

Les degrés de liberté peuvent-ils être un nombre non entier?

Lorsque j'utilise GAM, cela me donne un DF résiduel de (dernière ligne du code). Qu'est-ce que ça veut dire? Au-delà de l'exemple GAM, en général, le nombre de degrés de liberté peut-il être un nombre non entier?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) …

27 r degrees-of-freedom gam machine-learning pca lasso probability self-study bootstrap expected-value regression machine-learning linear-model probability simulation random-generation machine-learning distributions svm libsvm classification pca multivariate-analysis feature-selection archaeology r regression dataset simulation r regression time-series forecasting predictive-models r mean sem lavaan machine-learning regularization regression conv-neural-network convolution classification deep-learning conv-neural-network regression categorical-data econometrics r confirmatory-factor scale-invariance self-study unbiased-estimator mse regression residuals sampling random-variable sample probability random-variable convergence r survival weibull references autocorrelation hypothesis-testing distributions correlation regression statistical-significance regression-coefficients univariate categorical-data chi-squared regression machine-learning multiple-regression categorical-data linear-model pca factor-analysis factor-rotation classification scikit-learn logistic p-value regression panel-data multilevel-analysis variance bootstrap bias probability r distributions interquartile time-series hypothesis-testing normal-distribution normality-assumption kurtosis arima panel-data stata clustered-standard-errors machine-learning optimization lasso multivariate-analysis ancova machine-learning cross-validation

2

Pourquoi la pénalité de Lasso est-elle équivalente à la double exponentielle (Laplace) antérieure?

J'ai lu dans un certain nombre de références que l'estimation de Lasso pour le vecteur de paramètre de régression est équivalente au mode postérieur de dans lequel la distribution antérieure pour chaque est une distribution exponentielle double (également connue sous le nom de distribution de Laplace).BBBBBBBiBiB_i J'ai essayé de le …

27 regression bayesian lasso prior regularization

2

Avantages de faire du «double lasso» ou de faire du lasso deux fois?

J'ai entendu une fois une méthode d'utilisation du lasso deux fois (comme un double-lasso) où vous effectuez le lasso sur l'ensemble de variables d'origine, par exemple S1, obtenez un ensemble clairsemé appelé S2, puis exécutez à nouveau le lasso sur l'ensemble S2 pour obtenir l'ensemble S3 . Y a-t-il un …

26 regression lasso regularization shrinkage lars

3

Pourquoi utiliser les estimations Lasso sur les estimations OLS sur le sous-ensemble de variables identifié par Lasso?

Pour la régression Lasso supposons que la meilleure solution (erreur de test minimale par exemple) sélectionne k fonctionnalités, de sorte que \ hat {\ beta} ^ {lasso} = \ left (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k …

26 regression feature-selection lasso regularization

Questions marquées «lasso»