Statistiques et Big Data lasso

1

Interprétation des tracés de traces variables LASSO

Je suis nouveau dans le glmnetpackage et je ne sais toujours pas comment interpréter les résultats. Quelqu'un pourrait-il m'aider à lire le tracé de trace suivant? Le graphique était obtenu en exécutant ce qui suit: library(glmnet) return <- matrix(ret.ff.zoo[which(index(ret.ff.zoo)==beta.df$date[2]), ]) data <- matrix(unlist(beta.df[which(beta.df$date==beta.df$date[2]), ][ ,-1]), ncol=num.factors) model <- cv.glmnet(data, return, …

15 r data-visualization interpretation lasso glmnet

2

LASSO / LARS vs méthode générale à spécifique (GETS)

Je me demandais pourquoi les méthodes de sélection des modèles LASSO et LARS sont si populaires même si elles ne sont fondamentalement que des variations de la sélection pas à pas (et souffrent donc de la dépendance du chemin)? De même, pourquoi les méthodes GETS (General to Specific) pour la …

15 feature-selection model-selection lasso stepwise-regression lars

4

La preuve de formules équivalentes de régression de crête

J'ai lu les livres les plus populaires en apprentissage statistique 1- Les éléments de l'apprentissage statistique. 2- Une introduction à l'apprentissage statistique . Les deux mentionnent que la régression de crête a deux formules qui sont équivalentes. Existe-t-il une preuve mathématique compréhensible de ce résultat? Je suis également passé par …

15 regression lasso regularization ridge-regression lagrange-multipliers

4

Sélection de pénalité optimale pour le lasso

Existe-t-il des résultats analytiques ou des articles expérimentaux concernant le choix optimal du coefficient du terme de pénalité ℓ1ℓ1\ell_1 ? Par optimal , je veux dire un paramètre qui maximise la probabilité de sélectionner le meilleur modèle, ou qui minimise la perte attendue. Je pose la question car il est …

15 model-selection lasso shrinkage

1

La régression logistique glmnet peut-elle gérer directement les variables factorielles (catégorielles) sans avoir besoin de variables fictives? [fermé]

Fermé. Cette question est hors sujet . Il n'accepte pas actuellement les réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé il y a 3 ans . Je construis une régression logistique en R en utilisant la méthode …

15 r logistic categorical-data lasso glmnet

1

Quel est le plus petit

β^λ=argminβ∈Rp12n∥y−Xβ∥22+λ∥β∥1,β^λ=arg⁡minβ∈Rp12n‖y−Xβ‖22+λ‖β‖1,\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1,ithithi^{th}xi∈Rpxi∈Rpx_i \in \mathbb{R}^pX∈Rn×pX∈Rn×pX \in \mathbb{R}^{n \times p}yiyiy_ii=1,…ni=1,…ni=1, \dots n Nous savons que pour λ≥1n∥XTy∥∞λ≥1n‖XTy‖∞\lambda \geq \frac{1}{n} \|X^T y\|_\infty , l'estimation au lasso β^λ=0β^λ=0\hat\beta^\lambda = 0 . (Voir, par exemple, la portée du paramètre de réglage Lasso et Ridge …

14 lasso regularization

1

Utilisation de LASSO sur une forêt aléatoire

Je voudrais créer une forêt aléatoire en utilisant le processus suivant: Construisez un arbre sur un échantillon aléatoire des données et des fonctionnalités en utilisant le gain d'informations pour déterminer les divisions Terminer un nœud feuille s'il dépasse une profondeur prédéfinie OU toute scission entraînerait un nombre de feuilles inférieur …

14 classification random-forest lasso ensemble

2

AIC, BIC et GCV: quel est le meilleur pour prendre une décision dans les méthodes de régression pénalisées?

Ma compréhension générale est que l' AIC traite de l'arbitrage entre la qualité de l'ajustement du modèle et la complexité du modèle. A jeC= 2 k - 2 l n ( L )UNEjeC=2k-2ln(L)AIC =2k -2ln(L) = nombre de paramètres dans le modèlekkk = vraisemblanceLLL Le critère d'information bayésien BIC est …

14 cross-validation lasso aic ridge-regression bic

2

Quelle est la complexité temporelle de la régression du Lasso?

Quelle est la complexité temporelle asymptotique de la régression Lasso à mesure que le nombre de lignes ou de colonnes augmente?

14 lasso time-complexity

2

Pourquoi la meilleure sélection de sous-ensembles n'est-elle pas favorisée par rapport au lasso?

Je lis sur la meilleure sélection de sous-ensembles dans le livre Elements of statistics learning. Si j'ai 3 prédicteurs , je crée sous-ensembles:x1,x2,x3x1,x2,x3x_1,x_2,x_323=823=82^3=8 Sous-ensemble sans prédicteurs sous-ensemble avec prédicteurx1x1x_1 sous-ensemble avec prédicteurx2x2x_2 sous-ensemble avec prédicteur x3x3x_3 sous-ensemble avec prédicteurs x1,x2x1,x2x_1,x_2 sous-ensemble avec prédicteurs x1,x3x1,x3x_1,x_3 sous-ensemble avec prédicteurs x2,x3x2,x3x_2,x_3 sous-ensemble avec …

13 regression feature-selection lasso bias-variance-tradeoff

1

Solution de forme fermée au problème du lasso lorsque la matrice de données est diagonale

\newcommand{\diag}{\operatorname{diag}} Nous avons le problème: en supposant que: \ sum_ {i = 1} ^ nx_ix_i ^ T = \ diag (\ sigma_1 ^ 2, ..., \ sigma_d ^ 2).n Σ i=1xix T i =diag(σ 2 1 ,...,Σ 2 d ).minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right),∑i=1nxixTi=diag(σ21,...,σ2d).∑i=1nxixiT=diag⁡(σ12,...,σd2).\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2). Existe-t-il une solution sous …

13 mathematical-statistics lasso computational-statistics regularization

2

Si p> n, le lasso sélectionne au plus n variables

L'une des motivations du filet élastique était la limitation suivante de LASSO: Dans le cas p>np>np > n , le lasso sélectionne au plus n variables avant de saturer, en raison de la nature du problème d'optimisation convexe. Cela semble être une caractéristique limitante pour une méthode de sélection de …

13 regression optimization feature-selection lasso

1

Régression logistique bayésienne régularisée dans JAGS

Il y a plusieurs articles mathématiques qui décrivent le lasso bayésien, mais je veux un code JAGS correct et testé que je peux utiliser. Quelqu'un pourrait-il publier un exemple de code BUGS / JAGS qui implémente une régression logistique régularisée? Tout schéma (L1, L2, Elasticnet) serait génial, mais Lasso est …

13 bayesian logistic lasso jags regularization

1

Reproduction du tableau 18.1 de «Elements of Statistical Learning»

Le tableau 18.1 des éléments de l'apprentissage statistique résume les performances de plusieurs classificateurs sur un ensemble de données de 14 classes. Je compare un nouvel algorithme avec le lasso et le filet élastique pour de tels problèmes de classification multiclasse. En utilisant la glmnetversion 1.5.3 (R 2.13.0), je ne …

13 classification lasso glmnet

3

GLMNET ou LARS pour le calcul des solutions LASSO?

Je voudrais obtenir les coefficients du problème LASSO ||Y−Xβ||+λ||β||1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Le problème est que les fonctions glmnet et lars donnent des réponses différentes. Pour la fonction glmnet, je demande les coefficients de λ/||Y||λ/||Y||\lambda/||Y||au lieu de simplement λλ\lambda , mais j'obtiens toujours des réponses différentes. Est-ce attendu? Quelle est la relation …

13 r machine-learning regression lasso regularization

Questions marquées «lasso»