Statistiques et Big Data regularization

3

Pourquoi ne voit-on que les régularisations

Je suis juste curieux de savoir pourquoi il n’ya habituellement que des régularisations des normes L1L1L_1 et L2L2L_2 . Y a-t-il des preuves de la raison pour laquelle elles sont meilleures?

36 lasso regularization ridge-regression

2

Comment interpréter glmnet?

J'essaie d'adapter un modèle de régression linéaire multivarié avec environ 60 variables de prédicteur et 30 observations. J'utilise donc le package glmnet pour la régression régularisée, car p> n. J'ai parcouru la documentation et d'autres questions, mais je ne peux toujours pas interpréter les résultats. Voici un exemple de code …

36 r regression regularization glmnet

2

Qu'est-ce que la régularisation du réseau élastique et comment résoudre les inconvénients de Ridge (

La régularisation par filet élastique est-elle toujours préférée à Lasso & Ridge, car elle semble résoudre les inconvénients de ces méthodes? Quelle est l'intuition et quel est le calcul derrière le filet élastique?

35 regression lasso regularization ridge-regression elastic-net

4

(Pourquoi) les modèles suralimentés ont-ils tendance à avoir des coefficients élevés?

J'imagine que plus le coefficient d'une variable est grand, plus le modèle doit pouvoir "basculer" dans cette dimension, ce qui augmente les possibilités d'adaptation au bruit. Bien que je pense avoir une idée raisonnable de la relation entre la variance dans le modèle et les coefficients élevés, je ne comprends …

33 regression variance linear-model bias regularization

1

La régression avec la régularisation L1 est-elle identique à celle de Lasso, et avec la régularisation L2 est-elle identique à la régression de crête? Et comment écrire «Lasso»?

Je suis un ingénieur en logiciel apprenant à apprendre les machines, en particulier grâce aux cours d'apprentissage automatique d' Andrew Ng . En étudiant la régression linéaire avec la régularisation , j'ai trouvé des termes déroutants: Régression avec régularisation L1 ou régularisation L2 LASSO Régression Ridge Donc mes questions: La …

33 regression terminology lasso regularization ridge-regression

4

Filet Ridge, lasso et élastique

Comment les méthodes de régularisation des arêtes, LASSO et des filets élastiques se comparent-elles? Quels sont leurs avantages et inconvénients respectifs? Tout bon document technique ou note de cours serait également apprécié.

33 references lasso regularization ridge-regression elastic-net

2

La régularisation de Tikhonov est-elle la même que celle de Ridge Regression?

La régularisation de Tikhonov et la régression de crête sont des termes souvent utilisés comme s'ils étaient identiques. Est-il possible de spécifier exactement quelle est la différence?

33 regression terminology regularization ridge-regression tikhonov-regularization

2

Théorie de la régression des moindres carrés partiels

Quelqu'un peut-il recommander une bonne exposition de la théorie de la régression des moindres carrés partiels (disponible en ligne) pour quelqu'un qui comprend la SVD et la PCA? J'ai regardé de nombreuses sources en ligne et je n'ai rien trouvé qui avait la bonne combinaison de rigueur et d'accessibilité. J'ai …

33 regression references regularization svd partial-least-squares

4

Pourquoi utiliser la régularisation dans la régression polynomiale au lieu de baisser le degré?

Lors de la régression, par exemple, deux hyper paramètres à choisir sont souvent la capacité de la fonction (par exemple, le plus grand exposant d’un polynôme) et la quantité de régularisation. Pourquoi ne pas simplement choisir une fonction à faible capacité, puis ignorer toute régularisation? De cette façon, il ne …

32 regression machine-learning optimization regularization polynomial

2

Quand la régularisation L1 fonctionnera-t-elle mieux que L2 et vice versa?

Remarque: Je sais que L1 a une propriété de sélection de fonction. J'essaie de comprendre lequel choisir lorsque la sélection des fonctionnalités est complètement hors de propos. Comment décider quelle régularisation (L1 ou L2) utiliser? Quels sont les avantages et les inconvénients de chacune des régularisations L1 / L2? Est-il …

30 regression lasso regularization ridge-regression

1

Sélection des fonctionnalités et modèle avec glmnet sur les données de méthylation (p >> N)

Je voudrais utiliser GLM et Elastic Net pour sélectionner ces fonctionnalités pertinentes + construire un modèle de régression linéaire (c'est-à-dire à la fois la prédiction et la compréhension, il serait donc préférable de se retrouver avec relativement peu de paramètres). La sortie est continue. C'est gènes pour 50 cas. J'ai …

29 r regularization glmnet elastic-net underdetermined

2

Ajuster un modèle ARIMAX avec régularisation ou pénalisation (par exemple avec le lasso, le filet élastique ou la régression de crête)

J'utilise la fonction auto.arima () dans le package de prévision pour adapter les modèles ARMAX avec une variété de covariables. Cependant, j'ai souvent un grand nombre de variables à sélectionner et je me retrouve généralement avec un modèle final qui fonctionne avec un sous-ensemble d'entre elles. Je n'aime pas les …

29 r time-series lasso regularization elastic-net

1

Pourquoi ma dérivation d'une solution de lasso de forme fermée est-elle incorrecte?

Le problème du lasso a la solution de forme fermée: \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ text {LS}} _ j) (| \ beta_j ^ {\ text {LS }} | - \ alpha) ^ + si X a des colonnes orthonormées. Cela a …

28 regression lasso regularization

2

La standardisation avant Lasso est-elle vraiment nécessaire?

J'ai lu trois principales raisons de normaliser les variables avant quelque chose comme la Lassorégression: 1) Interprétabilité des coefficients. 2) Capacité de classer l'importance du coefficient en fonction de la magnitude relative des estimations du coefficient après retrait. 3) Pas besoin d'intercepter. Mais je m'interroge sur le point le plus …

28 normalization lasso standardization regularization shrinkage

1

Pourquoi glmnet utilise-t-il un filet élastique «naïf» du papier original Zou & Hastie?

Le papier net élastique original Zou & Hastie (2005) Régularisation et sélection des variables via le filet élastique introduit la fonction de perte nette élastique pour la régression linéaire (ici, je suppose que toutes les variables sont centrées et mises à l'échelle de la variance unitaire): mais appelé "filet élastique …

27 regression regularization glmnet elastic-net shrinkage

Questions marquées «regularization»