Statistiques et Big Data ridge-regression

1

Existe-t-il un ensemble clair de conditions dans lesquelles le lasso, la crête ou les chemins de solution nette élastique sont monotones?

La question Que conclure de ce graphique du lasso (glmnet) montre des chemins de solution pour l'estimateur du lasso qui ne sont pas monotones. C'est-à-dire que certains des coefficients augmentent en valeur absolue avant de rétrécir. J'ai appliqué ces modèles à plusieurs types d'ensembles de données et je n'ai jamais …

18 lasso ridge-regression elastic-net

3

Comment estimer les erreurs standard des coefficients lors de l'utilisation de la régression de crête?

J'utilise la régression de crête sur des données hautement multicollinéaires. En utilisant OLS, j'obtiens de grandes erreurs standard sur les coefficients en raison de la multicolinéarité. Je sais que la régression de crête est un moyen de résoudre ce problème, mais dans toutes les implémentations de régression de crête que …

18 standard-error ridge-regression

1

Différence entre la régression primitive, double et Kernel Ridge

Quelle est la différence entre la régression primitive , double et Kernel Ridge? Les gens utilisent les trois, et à cause de la notation différente que tout le monde utilise à différentes sources, il m'est difficile de suivre. Alors, quelqu'un peut-il me dire en termes simples quelle est la différence …

18 regression kernel-trick ridge-regression

2

Pourquoi le classificateur de régression d'arête fonctionne-t-il assez bien pour la classification de texte?

Au cours d'une expérience de classification de texte, j'ai trouvé un classificateur de crête générant des résultats qui dépassent constamment les tests parmi les classificateurs qui sont le plus souvent mentionnés et appliqués pour les tâches d'exploration de texte, tels que SVM, NB, kNN, etc. Cependant, je n'ai pas élaboré …

18 machine-learning classification text-mining ridge-regression

3

Utiliser la régularisation lors de l'inférence statistique

Je connais les avantages de la régularisation lors de la construction de modèles prédictifs (biais vs variance, prévention du sur-ajustement). Mais, je me demande si c'est une bonne idée de faire aussi de la régularisation (lasso, crête, filet élastique) lorsque le but principal du modèle de régression est l'inférence sur …

18 inference lasso ridge-regression elastic-net selectiveinference

2

LASSO et la crête du point de vue bayésien: qu'en est-il du paramètre de réglage?

Les estimateurs de régression pénalisés tels que LASSO et ridge correspondraient aux estimateurs bayésiens avec certains a priori. Je suppose (comme je ne connais pas assez les statistiques bayésiennes) que pour un paramètre de réglage fixe, il existe un a priori concret correspondant. Maintenant, un fréquentiste optimiserait le paramètre de …

17 bayesian lasso ridge-regression

3

Mise en œuvre de la régression des crêtes: sélectionner une grille intelligente pour

J'implémente Ridge Regression dans un module Python / C, et je suis tombé sur ce "petit" problème. L'idée est que je souhaite échantillonner les degrés de liberté effectifs plus ou moins également espacés (comme le graphique de la page 65 sur les "Éléments de l'apprentissage statistique" ), c'est-à-dire, échantillon: où …

17 ridge-regression

2

Pourquoi Lasso ou ElasticNet fonctionnent mieux que Ridge lorsque les fonctionnalités sont corrélées

J'ai un ensemble de 150 fonctionnalités, et beaucoup d'entre elles sont fortement corrélées les unes aux autres. Mon objectif est de prédire la valeur d'une variable discrète, dont la plage est 1-8 . La taille de mon échantillon est de 550 et j'utilise une validation croisée 10 fois . AFAIK, …

17 regression lasso regularization ridge-regression elastic-net

1

Inverser la régression des crêtes: compte tenu de la matrice de réponse et des coefficients de régression, trouver des prédicteurs appropriés

Considérons un problème de régression OLS standard : J'ai des matrices \ Y et \ X et je veux trouver \ B pour minimiser L = \ | \ Y- \ X \ B \ | ^ 2. La solution est donnée par \ hat \ B = \ argmin_ …

16 regression least-squares ridge-regression

2

Pourquoi la régression des crêtes ne réduira-t-elle pas certains coefficients à zéro comme le lasso?

Pour expliquer la régression LASSO, le diagramme d'un diamant et d'un cercle est souvent utilisé. On dit que parce que la forme de la contrainte dans LASSO est un diamant, la solution des moindres carrés obtenue pourrait toucher le coin du diamant de telle sorte qu'elle entraîne un rétrécissement d'une …

16 regression lasso ridge-regression

1

Dans quelles conditions exactement la régression des crêtes est-elle en mesure d'apporter une amélioration par rapport à la régression des moindres carrés ordinaires?

La régression de crête estime les paramètres ββ\boldsymbol \beta dans un modèle linéaire y=Xβy=Xβ\mathbf y = \mathbf X \boldsymbol \beta by β^λ=(X⊤X+λI)−1X⊤y,β^λ=(X⊤X+λI)−1X⊤y,\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y, où λλ\lambda est un paramètre de régularisation. Il est bien connu qu'elle fonctionne souvent …

16 regression ridge-regression shrinkage

1

Quelle est la plage typique de valeurs possibles pour le paramètre de rétrécissement dans la régression pénalisée?

En régression lasso ou crête, il faut spécifier un paramètre de rétrécissement, souvent appelé par ou α . Cette valeur est souvent choisie par validation croisée en vérifiant un tas de valeurs différentes sur les données d'entraînement et en voyant celle qui donne le meilleur, par exemple R 2 sur …

16 regression lasso regularization ridge-regression penalized

2

Pourquoi le retrait fonctionne-t-il vraiment, quelle est la particularité de 0?

Il y a déjà un article sur ce site qui parle du même problème: pourquoi le retrait fonctionne-t-il? Mais, même si les réponses sont populaires, je ne crois pas que l'essentiel de la question soit vraiment abordé. Il est assez clair que l'introduction d'un biais dans l'estimation entraîne une réduction …

15 regularization ridge-regression shrinkage

1

Régularisation pour les modèles ARIMA

Je connais LASSO, la régularisation de type crête et filet élastique dans les modèles de régression linéaire. Question: Ce type d'estimation pénalisée (ou similaire) peut-il être appliqué à la modélisation ARIMA (avec une partie MA non vide)? Dans la construction de modèles ARIMA, il semble habituel de considérer un ordre …

15 time-series arima lasso regularization ridge-regression

1

Régression en

J'essaie de voir s'il faut opter pour la régression de crête , LASSO , la régression en composantes principales (PCR) ou les moindres carrés partiels (PLS) dans une situation où il y a un grand nombre de variables / caractéristiques ( ) et un plus petit nombre d'échantillons ( n …

15 regression pca lasso ridge-regression partial-least-squares

Questions marquées «ridge-regression»