Statistiques et Big Data ridge-regression

2

Pourquoi la régression des crêtes ne peut-elle pas offrir une meilleure interprétabilité que LASSO?

J'ai déjà une idée des avantages et des inconvénients de la régression des crêtes et du LASSO. Pour le LASSO, le terme de pénalité L1 donnera un vecteur de coefficient clairsemé, qui peut être considéré comme une méthode de sélection de caractéristiques. Cependant, il existe certaines limitations pour le LASSO. …

11 feature-selection lasso regularization ridge-regression elastic-net

1

Les résultats de la régression de crête diffèrent en utilisant lm.ridge et glmnet

J'ai appliqué quelques données pour trouver la meilleure solution de variables du modèle de régression en utilisant la régression de crête dans R. J'ai utilisé lm.ridgeet glmnet(quand alpha=0), mais les résultats sont très différents, surtout quand lambda=0. Il suppose que les deux estimateurs de paramètres ont les mêmes valeurs. Alors, …

11 r regression ridge-regression glmnet

1

Ridge et LASSO ont une structure de covariance?

Après avoir lu le chapitre 3 des Éléments de l'apprentissage statistique (Hastie, Tibshrani & Friedman), je me suis demandé s'il était possible de mettre en œuvre les fameuses méthodes de rétrécissement citées sur le titre de cette question étant donné une structure de covariance, c'est-à-dire minimiser la (peut-être plus générale …

11 lasso ridge-regression

2

Comment calculer le paramètre de régularisation dans la régression de crête en fonction des degrés de liberté et de la matrice d'entrée?

Soit A la matrice des variables indépendantes et B la matrice n × 1 correspondante des valeurs dépendantes. Dans la régression d'arête, on définit un paramètre λ de sorte que: β = ( A T A + X I ) - 1 A T B . Soit maintenant [usv] = …

11 ridge-regression

1

Efficacité de la régression de Kernel Ridge

La régression de crête peut être exprimée par où est l'étiquette prédite , la matrice d'identification , l'objet pour lequel nous essayons de trouver une étiquette, et la matrice de objets tel que: Y IddxdxXnxdnxi=(xi,1,...,Xi,j)∈Rdy^= ( X′X +a Iré)- 1X xy^=(X′X+aId)−1Xx\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}xy^y^\hat{y}jeréId\mathbf{I}_dré× dd×dd \times dXx\mathbf{x}XX\mathbf{X}n × dn×dn …

11 regression ridge-regression kernel-trick

4

La multicolinéarité est-elle vraiment un problème?

Je travaille sur un projet de modélisation prédictive ces jours-ci: essayer d'apprendre un modèle et faire des prédictions en temps réel sur la base du modèle que j'ai appris hors ligne. J'ai commencé à utiliser la régression de crête récemment, car j'ai lu que la régularisation peut aider à réduire …

11 regression prediction multicollinearity ridge-regression

2

Quels sont les «premiers articles» les plus importants sur les méthodes de régularisation?

Dans plusieurs réponses, j'ai vu des utilisateurs de CrossValidated suggérer à OP de trouver les premiers articles sur Lasso, Ridge et Elastic Net. Pour la postérité, quelles sont les œuvres phares sur Lasso, Ridge et Elastic Net?

10 references lasso regularization ridge-regression elastic-net

2

Différence entre l'implémentation de régression de crête dans R et SAS

J'ai lu la description de la régression des crêtes dans Applied Linear Statistical Models , 5e Ed chapitre 11. La régression des crêtes est effectuée sur les données de graisse corporelle disponibles ici . Le manuel correspond à la sortie dans SAS, où les coefficients transformés en arrière sont donnés …

10 r sas ridge-regression

3

Comment effectuer une régression de crête non négative?

Comment effectuer une régression de crête non négative? Le lasso non négatif est disponible en scikit-learn, mais pour la crête, je ne peux pas imposer la non-négativité des bêtas, et en effet, j'obtiens des coefficients négatifs. Est-ce que quelqu'un sait pourquoi c'est comme ça? De plus, puis-je implémenter ridge en …

10 regression lasso regularization ridge-regression

2

Explication lucide de la «stabilité numérique de l'inversion matricielle» dans la régression des crêtes et son rôle dans la réduction de la surajustement

Je comprends que nous pouvons utiliser la régularisation dans un problème de régression des moindres carrés comme w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] et que ce problème a une solution de forme fermée comme: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Nous voyons que dans la 2e équation, la régularisation consiste …

10 regression regularization ridge-regression overfitting matrix-inverse

2

Formulation de régression de crête sous contrainte versus pénalisée: comment sont-elles équivalentes?

Je semble mal comprendre une affirmation sur les méthodes de régression linéaire que j'ai vu à divers endroits. Les paramètres du problème sont: Contribution: NNN échantillons de données de quantités constituées chacune d'une quantité de "réponse" et de quantités de "prédicteur"p+1p+1p+1yiyiy_ipppxijxijx_{ij} Le résultat souhaité est un "bon ajustement linéaire" qui …

10 regression ridge-regression

2

Standardisation vs normalisation pour la régression Lasso / Ridge

Je sais qu'il est courant de normaliser les caractéristiques de régression de crête et de lasso, mais serait-il plus pratique de normaliser les caractéristiques sur une échelle (0,1) comme alternative à la standardisation du score z pour ces méthodes de régression?

9 normalization lasso standardization ridge-regression

3

Validation croisée K-fold ou hold-out pour la régression de crête à l'aide de R

Je travaille sur la validation croisée de la prédiction de mes données avec 200 sujets et 1000 variables. Je suis intéressé par la régression des crêtes car le nombre de variables (que je veux utiliser) est supérieur au nombre d'échantillons. Je veux donc utiliser des estimateurs de retrait. Voici des …

9 r cross-validation prediction ridge-regression

3

Sélection de k nœuds dans la spline de lissage de régression équivalente à k variables catégorielles?

Je travaille sur un modèle de coût prédictif où l'âge du patient (une quantité entière mesurée en années) est l'une des variables prédictives. Une forte relation non linéaire entre l'âge et le risque d'hospitalisation est évidente: J'envisage une spline de lissage de régression pénalisée pour l'âge du patient. Selon The …

9 nonlinear-regression lasso ridge-regression smoothing splines

1

Appliquer une régression de crête pour un système d'équations sous-déterminé?

Lorsque , le problème des moindres carrés qui impose une restriction sphérique à la valeur de peut être écrit comme pour un système surdéterminé. \ | \ cdot \ | _2 est la norme euclidienne d'un vecteur.y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y - …

9 regression least-squares regularization ridge-regression underdetermined

Questions marquées «ridge-regression»