Statistiques et Big Data lasso

4

Comment interpréter le Lasso en réduisant tous les coefficients à 0?

J'ai un ensemble de données avec 338 prédicteurs et 570 instances (impossible de télécharger malheureusement) sur lequel j'utilise le Lasso pour effectuer la sélection des fonctionnalités. En particulier, j'utilise la cv.glmnetfonction glmnetcomme suit, où se mydata_matrixtrouve une matrice binaire 570 x 339 et la sortie est également binaire: library(glmnet) x_dat …

8 r classification lasso glmnet

1

Filet élastique de groupe

Le lasso et le filet élastique ne sont pas en mesure de traiter des variables de plus de deux catégories et, par conséquent, une répartition des variables catégorielles en variables muettes est nécessaire pour l'application de ces méthodes. Cela peut entraîner plusieurs problèmes et il existe donc des extensions du …

8 machine-learning categorical-data feature-selection lasso elastic-net

3

Dans la régression Ridge et LASSO, pourquoi plus petit

Quelqu'un peut-il fournir une vue intuitive sur pourquoi il est préférable d'avoir une version bêta plus petite? Pour LASSO, je peux comprendre cela, il y a un composant de sélection de fonctionnalités ici. Moins de fonctionnalités rendent le modèle plus simple et donc moins susceptible d'être sur-ajusté. Cependant, pour l'arête, …

8 regression lasso ridge-regression shrinkage

1

Comment interpréter le tracé cv.glmnet ()?

J'ai effectué un lasso, puis laissé une validation croisée cv<-cv.glmnet(df, df$Price, nfolds = 1500) Lorsque je trace un cv, j'obtiens ce qui suit: J'ai aussi remarqué que j'obtenais 2 lambdas différents: lambda.minetlambda.1se Quelle est la différence entre ces lambdas? Que puis-je comprendre de l'intrigue ci-dessus en général (à quoi servent …

8 r cross-validation interpretation lasso

1

Relation de la compression compressée avec la régularisation L1

Je comprends que la détection compressée trouve la solution la plus simple à y=Axy=Axy = Ax où x∈RDx∈RDx \in \mathbb{R}^D, A∈Rk×DA∈Rk×DA \in \mathbb{R}^{k \times D}, et y∈Rky∈Rky \in \mathbb{R}^{k}, k<<Dk<<Dk << D. De cette façon, nous pouvons reconstruire xxx (l'original) en utilisant yyy(la compression), assez rapide. Nous disons quexxxest la …

8 lasso sparse

1

Le coefficient variable augmente, puis diminue à mesure que lambda diminue (LASSO)

Je régresse un prédicteur continu sur plus de 60 variables (à la fois continues et catégorielles) en utilisant LASSO (glmnet). En examinant le tracé de trace variable, je remarque que lorsque le log lambda augmente, l'une des variables clés a un coefficient qui augmente réellement. Puis, après un certain point, …

8 lasso regularization glmnet

1

Quels sont les avantages et les inconvénients de l'utilisation de LASSO pour l'analyse causale?

L'apprentissage statistique et ses résultats sont actuellement omniprésents en sciences sociales. Il y a quelques mois, Guido Imbens a déclaré: "LASSO est le nouvel OLS". J'ai un peu étudié le Machine Learning et je sais que son objectif principal est la prédiction. Je suis également d'accord avec la distinction de …

8 machine-learning lasso causality

1

Finesse de la grille et sur-ajustement lors du réglage en LASSO, crête, filet élastique

Je me demande la finesse optimale de la grille et quelle est la relation entre la finesse de la grille et le sur-ajustement dans les méthodes de régularisation telles que LASSO, régression de crête ou filet élastique. Supposons que je veuille adapter un modèle de régression utilisant LASSO à un …

8 lasso regularization ridge-regression overfitting elastic-net

2

Pourquoi l'ajout de la pénalité L1 à l'optim de R ralentit-il tant les choses (par rapport à l'absence de pénalité ou à L2)?

J'exécute quelques optimisations avec l'implémentation optim de BFGS. La fonction objectif est en fait un algorithme de calcul, pas seulement des mathématiques. J'ai trouvé que lorsque j'ajoute une pénalité en L1, les choses ralentissent un peu. Pourquoi est-ce possible? Y a-t-il quelque chose dans L1 qui ralentit les choses? Alors, …

8 r optimization lasso

2

Quelqu'un peut-il expliquer ce que fait l'argument foldid dans glmnet?

J'essaie de déterminer quel alpha utiliser dans ma glmnetfonction, mais le fichier d'aide me dit: Notez que cv.glmnet ne recherche PAS de valeurs pour alpha. Une valeur spécifique doit être fournie, sinon alpha = 1 est supposé par défaut. Si les utilisateurs souhaitent également effectuer une validation croisée alpha, ils …

8 r lasso ridge-regression glmnet

2

Quelle est la signification du chemin de régularisation dans LASSO ou les problèmes de rareté associés?

Si nous sélectionnons différentes valeurs du paramètre , nous pourrions obtenir des solutions avec différents niveaux de rareté. Cela signifie-t-il que le chemin de régularisation est de savoir comment sélectionner la coordonnée qui pourrait obtenir une convergence plus rapide? Je suis un peu confus même si j'ai souvent entendu parler …

8 lasso regularization

2

Comment l'interception est-elle calculée dans GLMnet?

J'ai implémenté la version GLMNET de filet élastique pour la régression linéaire avec un autre logiciel que R. J'ai comparé mes résultats avec la fonction R glmnet en mode lasso sur les données du diabète . La sélection des variables est correcte lorsque l'on fait varier la valeur du paramètre …

8 r lasso regularization glmnet elastic-net

Questions marquées «lasso»