Statistiques et Big Data lasso

3

Utiliser la régularisation lors de l'inférence statistique

Je connais les avantages de la régularisation lors de la construction de modèles prédictifs (biais vs variance, prévention du sur-ajustement). Mais, je me demande si c'est une bonne idée de faire aussi de la régularisation (lasso, crête, filet élastique) lorsque le but principal du modèle de régression est l'inférence sur …

18 inference lasso ridge-regression elastic-net selectiveinference

1

Hypothèses LASSO

Dans un scénario de régression LASSO où y=Xβ+ϵy=Xβ+ϵy= X \beta + \epsilon , et les estimations de LASSO sont données par le problème d'optimisation suivant minβ||y−Xβ||+τ||β||1minβ||y−Xβ||+τ||β||1 \min_\beta ||y - X \beta|| + \tau||\beta||_1 Existe-t-il des hypothèses de distribution concernant le ?ϵϵ\epsilon Dans un scénario OLS, on peut s'attendre à ce …

18 regression lasso assumptions residuals

2

LASSO et la crête du point de vue bayésien: qu'en est-il du paramètre de réglage?

Les estimateurs de régression pénalisés tels que LASSO et ridge correspondraient aux estimateurs bayésiens avec certains a priori. Je suppose (comme je ne connais pas assez les statistiques bayésiennes) que pour un paramètre de réglage fixe, il existe un a priori concret correspondant. Maintenant, un fréquentiste optimiserait le paramètre de …

17 bayesian lasso ridge-regression

1

Comment traiter les prédicteurs catégoriques dans LASSO

Je gère un LASSO qui a des prédicteurs de variables catégoriques et des prédicteurs continus. J'ai une question sur les variables catégorielles. La première étape que je comprends est de les diviser en deux nuls, de les normaliser pour une pénalisation équitable, puis de régresser. Plusieurs options se présentent pour …

17 categorical-data regression-coefficients lasso intercept categorical-encoding

3

Variable dépendante continue avec variable indépendante ordinale

Étant donné une variable dépendante continue y et des variables indépendantes comprenant une variable ordinale X 1 , comment puis-je adapter un modèle linéaire R? Existe-t-il des articles sur ce type de modèle?

17 r regression lasso ordinal-data predictor

3

Inférence après avoir utilisé Lasso pour la sélection de variables

J'utilise Lasso pour la sélection d'entités dans un cadre dimensionnel relativement bas (n >> p). Après avoir ajusté un modèle Lasso, je veux utiliser les covariables avec des coefficients non nuls pour ajuster un modèle sans pénalité. Je fais cela parce que je veux des estimations impartiales que Lasso ne …

17 regression feature-selection lasso unbiased-estimator

2

Pourquoi Lasso ou ElasticNet fonctionnent mieux que Ridge lorsque les fonctionnalités sont corrélées

J'ai un ensemble de 150 fonctionnalités, et beaucoup d'entre elles sont fortement corrélées les unes aux autres. Mon objectif est de prédire la valeur d'une variable discrète, dont la plage est 1-8 . La taille de mon échantillon est de 550 et j'utilise une validation croisée 10 fois . AFAIK, …

17 regression lasso regularization ridge-regression elastic-net

2

Pourquoi la régression des crêtes ne réduira-t-elle pas certains coefficients à zéro comme le lasso?

Pour expliquer la régression LASSO, le diagramme d'un diamant et d'un cercle est souvent utilisé. On dit que parce que la forme de la contrainte dans LASSO est un diamant, la solution des moindres carrés obtenue pourrait toucher le coin du diamant de telle sorte qu'elle entraîne un rétrécissement d'une …

16 regression lasso ridge-regression

1

Régression haute dimension: pourquoi spécial?

J'essaie de lire sur la recherche dans le domaine de la régression à haute dimension; lorsque est supérieur à , c'est-à-dire . Il semble que le terme apparaisse souvent en termes de taux de convergence pour les estimateurs de régression.n p > > n log p / npppnnnp>>np>>np >> nlogp/nlog⁡p/n\log …

16 regression lasso convergence high-dimensional

1

Pourquoi le «lasso détendu» est-il différent du lasso standard?

Si nous commençons avec un ensemble de données , y appliquons Lasso et obtenons une solution , nous pouvons appliquer à nouveau Lasso à l'ensemble de données , où S est l'ensemble des non index zéro de \ beta ^ L , pour obtenir une solution, \ beta ^ {RL} …

16 regression optimization lasso regularization shrinkage

1

Quelle est la plage typique de valeurs possibles pour le paramètre de rétrécissement dans la régression pénalisée?

En régression lasso ou crête, il faut spécifier un paramètre de rétrécissement, souvent appelé par ou α . Cette valeur est souvent choisie par validation croisée en vérifiant un tas de valeurs différentes sur les données d'entraînement et en voyant celle qui donne le meilleur, par exemple R 2 sur …

16 regression lasso regularization ridge-regression penalized

1

Besoin de centrer et de standardiser les données en régression

Considérez la régression linéaire avec une certaine régularisation: par exemple, trouver qui minimisexxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Habituellement, les colonnes de A sont normalisées pour avoir une moyenne et une norme unitaire nul, tandis que est centrée pour avoir une moyenne nulle. Je veux m'assurer que ma compréhension de la raison de …

16 regression lasso regularization standardization

2

Pourquoi la perte de norme L2 a-t-elle une solution unique et la perte de norme L1 a-t-elle possiblement plusieurs solutions?

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Si vous regardez en haut de cet article, l'auteur mentionne que la norme L2 a une solution unique et que la norme L1 a peut-être de nombreuses solutions. Je comprends cela en termes de régularisation, mais pas en termes d'utilisation de la norme L1 ou de la norme L2 …

16 regression lasso regularization

1

Régularisation pour les modèles ARIMA

Je connais LASSO, la régularisation de type crête et filet élastique dans les modèles de régression linéaire. Question: Ce type d'estimation pénalisée (ou similaire) peut-il être appliqué à la modélisation ARIMA (avec une partie MA non vide)? Dans la construction de modèles ARIMA, il semble habituel de considérer un ordre …

15 time-series arima lasso regularization ridge-regression

1

Régression en

J'essaie de voir s'il faut opter pour la régression de crête , LASSO , la régression en composantes principales (PCR) ou les moindres carrés partiels (PLS) dans une situation où il y a un grand nombre de variables / caractéristiques ( ) et un plus petit nombre d'échantillons ( n …

15 regression pca lasso ridge-regression partial-least-squares

Questions marquées «lasso»