Questions marquées «regularization»

Inclusion de contraintes supplémentaires (généralement une pénalité pour la complexité) dans le processus d'ajustement du modèle. Utilisé pour éviter le sur-ajustement / améliorer la précision prédictive.

3
GLMNET ou LARS pour le calcul des solutions LASSO?
Je voudrais obtenir les coefficients du problème LASSO ||Y−Xβ||+λ||β||1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Le problème est que les fonctions glmnet et lars donnent des réponses différentes. Pour la fonction glmnet, je demande les coefficients de λ/||Y||λ/||Y||\lambda/||Y||au lieu de simplement λλ\lambda , mais j'obtiens toujours des réponses différentes. Est-ce attendu? Quelle est la relation …

1
LARS vs descente coordonnée pour le lasso
Quels sont les avantages et les inconvénients de l'utilisation de LARS [1] par rapport à l'utilisation de la descente de coordonnées pour ajuster la régression linéaire régularisée L1? Je m'intéresse principalement aux aspects de performance (mes problèmes ont tendance à avoir Ndes centaines de milliers et p<20). Cependant, toute autre …





5
Algorithme récursif (en ligne) des moindres carrés régularisés
Quelqu'un peut-il m'orienter vers un algorithme en ligne (récursif) pour la régularisation de Tikhonov (moindres carrés régularisés)? Dans un cadre hors ligne, je calculerais β^=(XTX+λI)−1XTYβ^=(XTX+λI)−1XTY\hat\beta=(X^TX+λI)^{−1}X^TY utilisant mon ensemble de données d'origine où λλλ est trouvé en utilisant la validation croisée n fois. Une nouvelle valeur yyy peut être prédite pour …



4
Qu'est-ce qui rend le lasso instable pour la sélection des fonctionnalités?
Dans la détection compressée, il existe un théorème garantissant que a une solution clairsemée unique c (voir l'annexe pour plus de détails).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Existe-t-il un théorème similaire pour le lasso? S'il existe un tel théorème, non seulement …

1
Comprendre la régression de crête négative
Je recherche de la documentation sur la régression de crête négative . En bref, il est une généralisation de la régression linéaire de la crête négative en utilisant λλ\lambda dans la formule β^=(X⊤X+λI)−1X⊤y.β^=(X⊤X+λI)−1X⊤y.\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.Le cas positif a une belle théorie: en tant …



5
Normes Ridge & LASSO
Cet article suit celui-ci: pourquoi l'estimation des crêtes devient-elle meilleure que l'OLS en ajoutant une constante à la diagonale? Voici ma question: Pour autant que je sache, la régularisation des crêtes utilise une norme ℓ2ℓ2\ell_2 (distance euclidienne). Mais pourquoi utilisons-nous le carré de cette norme? (une application directe de ℓ2ℓ2\ell_2 …

1
Quelles sont les normes
J'ai vu beaucoup d'articles sur les représentations clairsemées récemment, et la plupart d'entre eux utilisent la norme et font une certaine minimisation. Ma question est, quelle est la norme et la norme mixte ? Et comment sont-ils pertinents pour la régularisation?ℓpℓp\ell_pℓpℓp\ell_pℓp,qℓp,q\ell_{p, q} Merci

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.