Questions marquées «lasso»

Une méthode de régularisation pour les modèles de régression qui réduit les coefficients vers zéro, rendant certains d'entre eux égaux à zéro. Ainsi, le lasso effectue la sélection des fonctionnalités.

2
Définition exacte de la mesure de déviance dans le package glmnet, avec validation croisée?
Pour ma recherche actuelle, j'utilise la méthode Lasso via le package glmnet dans R sur une variable dépendante binomiale. Dans glmnet, le lambda optimal est trouvé par validation croisée et les modèles résultants peuvent être comparés à diverses mesures, par exemple erreur de classification erronée ou déviance. Ma question: comment …
1
Comment interpréter les résultats lorsque la crête et le lasso fonctionnent bien séparément mais produisent des coefficients différents
J'utilise un modèle de régression avec Lasso et Ridge (pour prédire une variable de résultat discrète allant de 0 à 5). Avant d'exécuter le modèle, j'utilise la SelectKBestméthode de scikit-learnpour réduire l'ensemble de fonctionnalités de 250 à 25 . Sans sélection initiale des caractéristiques, Lasso et Ridge cèdent tous deux …
2
Pourquoi la régression des crêtes ne peut-elle pas offrir une meilleure interprétabilité que LASSO?
J'ai déjà une idée des avantages et des inconvénients de la régression des crêtes et du LASSO. Pour le LASSO, le terme de pénalité L1 donnera un vecteur de coefficient clairsemé, qui peut être considéré comme une méthode de sélection de caractéristiques. Cependant, il existe certaines limitations pour le LASSO. …
2
Programmation quadratique et Lasso
J'essaie d'effectuer une régression au lasso, qui a la forme suivante: Minimiser www dans (Y−Xw)′(Y−Xw)+λ|w|1(Y−Xw)′(Y−Xw)+λ|w|1(Y - Xw)'(Y - Xw) + \lambda \;|w|_1 Étant donné unλλ\lambda , on m'a conseillé de trouver le optimal wwwà l'aide de la programmation quadratique, qui prend la forme suivante: Minimiser xxx en , sous réserve …
4
Comment fixer un coefficient et ajuster les autres à l'aide de la régression
Je voudrais fixer manuellement un certain coefficient, par exemple , puis ajuster les coefficients à tous les autres prédicteurs, tout en conservant dans le modèle.β 1 = 1,0β1= 1,0β1=1.0\beta_1=1.0β1= 1,0β1=1.0\beta_1=1.0 Comment puis-je y parvenir en utilisant R? J'aimerais particulièrement travailler avec LASSO ( glmnet) si possible. Sinon, comment puis-je limiter …
1
Ridge et LASSO ont une structure de covariance?
Après avoir lu le chapitre 3 des Éléments de l'apprentissage statistique (Hastie, Tibshrani & Friedman), je me suis demandé s'il était possible de mettre en œuvre les fameuses méthodes de rétrécissement citées sur le titre de cette question étant donné une structure de covariance, c'est-à-dire minimiser la (peut-être plus générale …
3
Dans quelle mesure est-il défendable de choisir
Lorsque je détermine mon lambda par validation croisée, tous les coefficients deviennent nuls. Mais j'ai quelques indices dans la littérature que certains des prédicteurs devraient définitivement affecter le résultat. Est-ce une foutaise de choisir arbitrairement lambda pour qu'il y ait autant de parcimonie qu'on le souhaite? Je veux sélectionner les …
11 lasso 
2
Peut augmentent lorsque
Si β∗=argminβ∥y−Xβ∥22+λ∥β∥1β∗=argminβ‖y−Xβ‖22+λ‖β‖1\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1 , ∥β∗∥2‖β∗‖2\|\beta^*\|_2 augmenter lorsque λλ\lambda augmente? Je pense que c'est possible. Bien que ∥β∗∥1‖β∗‖1\|\beta^*\|_1 n'augmente pas lorsque λλ\lambda augmente (ma preuve ), ∥β∗∥2‖β∗‖2\|\beta^*\|_2 peut augmenter. La figure ci-dessous montre une possibilité. Lorsque λλ\lambda augmente, si β∗β∗\beta^* déplace (linéairement) de PPP vers QQQ , alors ∥β∗∥2‖β∗‖2\|\beta^*\|_2 augmente tandis …
11 lasso 
2
Seuils doux contre pénalisation Lasso
J'essaie de résumer ce que j'ai compris jusqu'à présent dans l'analyse multivariée pénalisée avec des ensembles de données de grande dimension, et j'ai toujours du mal à obtenir une définition correcte du seuillage progressif par rapport à la pénalisation Lasso (ou ).L1L1L_1 Plus précisément, j'ai utilisé une régression PLS clairsemée …
1
Relation LASSO entre et
Ma compréhension de la régression LASSO est que les coefficients de régression sont sélectionnés pour résoudre le problème de minimisation: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t En pratique, cela se fait en utilisant un multiplicateur de Lagrange, ce qui rend le problème à résoudre …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.