Statistiques et Big Data regularization

1

Besoin de centrer et de standardiser les données en régression

Considérez la régression linéaire avec une certaine régularisation: par exemple, trouver qui minimisexxx||Ax−b||2+λ||x||1||Ax−b||2+λ||x||1||Ax - b||^2+\lambda||x||_1 Habituellement, les colonnes de A sont normalisées pour avoir une moyenne et une norme unitaire nul, tandis que est centrée pour avoir une moyenne nulle. Je veux m'assurer que ma compréhension de la raison de …

16 regression lasso regularization standardization

2

Pourquoi la perte de norme L2 a-t-elle une solution unique et la perte de norme L1 a-t-elle possiblement plusieurs solutions?

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/ Si vous regardez en haut de cet article, l'auteur mentionne que la norme L2 a une solution unique et que la norme L1 a peut-être de nombreuses solutions. Je comprends cela en termes de régularisation, mais pas en termes d'utilisation de la norme L1 ou de la norme L2 …

16 regression lasso regularization

2

Pourquoi le retrait fonctionne-t-il vraiment, quelle est la particularité de 0?

Il y a déjà un article sur ce site qui parle du même problème: pourquoi le retrait fonctionne-t-il? Mais, même si les réponses sont populaires, je ne crois pas que l'essentiel de la question soit vraiment abordé. Il est assez clair que l'introduction d'un biais dans l'estimation entraîne une réduction …

15 regularization ridge-regression shrinkage

1

Régularisation pour les modèles ARIMA

Je connais LASSO, la régularisation de type crête et filet élastique dans les modèles de régression linéaire. Question: Ce type d'estimation pénalisée (ou similaire) peut-il être appliqué à la modélisation ARIMA (avec une partie MA non vide)? Dans la construction de modèles ARIMA, il semble habituel de considérer un ordre …

15 time-series arima lasso regularization ridge-regression

4

La preuve de formules équivalentes de régression de crête

J'ai lu les livres les plus populaires en apprentissage statistique 1- Les éléments de l'apprentissage statistique. 2- Une introduction à l'apprentissage statistique . Les deux mentionnent que la régression de crête a deux formules qui sont équivalentes. Existe-t-il une preuve mathématique compréhensible de ce résultat? Je suis également passé par …

15 regression lasso regularization ridge-regression lagrange-multipliers

3

Régularisation et mise à l'échelle des fonctionnalités dans l'apprentissage en ligne?

Disons que j'ai un classificateur de régression logistique. Dans l'apprentissage par lots normal, j'aurais un terme régularisateur pour éviter le surapprentissage et garder mes poids petits. Je normaliserais également et ferais évoluer mes fonctionnalités. Dans un environnement d'apprentissage en ligne, je reçois un flux continu de données. Je fais une …

15 machine-learning normalization regularization online

1

Quelle méthode de comparaison multiple utiliser pour un modèle lmer: lsmeans ou glht?

J'analyse un ensemble de données à l'aide d'un modèle à effets mixtes avec un effet fixe (condition) et deux effets aléatoires (participant en raison de la conception et de la paire du sujet). Le modèle a été généré avec le lme4package: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Ensuite, j'ai effectué un test de rapport de …

15 r repeated-measures multiple-comparisons post-hoc lsmeans bayesian posterior marginal integral anova time-series regularization machine-learning pca computational-statistics references inference regression cross-validation python random-forest chi-squared spearman-rho r machine-learning confidence-interval bagging clustering feature-selection model-selection bic hypothesis-testing kurtosis r regression residuals terminology

1

Quel est le plus petit

β^λ=argminβ∈Rp12n∥y−Xβ∥22+λ∥β∥1,β^λ=arg⁡minβ∈Rp12n‖y−Xβ‖22+λ‖β‖1,\hat\beta^\lambda = \arg\min_{\beta \in \mathbb{R}^p} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1,ithithi^{th}xi∈Rpxi∈Rpx_i \in \mathbb{R}^pX∈Rn×pX∈Rn×pX \in \mathbb{R}^{n \times p}yiyiy_ii=1,…ni=1,…ni=1, \dots n Nous savons que pour λ≥1n∥XTy∥∞λ≥1n‖XTy‖∞\lambda \geq \frac{1}{n} \|X^T y\|_\infty , l'estimation au lasso β^λ=0β^λ=0\hat\beta^\lambda = 0 . (Voir, par exemple, la portée du paramètre de réglage Lasso et Ridge …

14 lasso regularization

3

Comment trouver les coefficients de régression

En régression de crête, la fonction objectif à minimiser est: RSS + λ ∑ β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Peut-on l'optimiser en utilisant la méthode du multiplicateur de Lagrange? Ou est-ce une différenciation directe?

14 regression regularization ridge-regression

4

Pas de terme de régularisation pour l'unité de biais dans le réseau neuronal

Selon ce tutoriel sur l'apprentissage en profondeur , la décroissance du poids (régularisation) n'est généralement pas appliquée aux termes de biais b pourquoi? Quelle est la signification (l'intuition) derrière cela?

14 machine-learning neural-networks bias regularization

4

Normes

Une norme L1L1L_1 est unique (au moins en partie) car p=1p=1p=1 est à la frontière entre non convexe et convexe. Une norme L1L1L_1 est la norme convexe «la plus clairsemée» (non?). Je comprends que la norme euclidienne a ses racines dans la géométrie et elle a une interprétation claire lorsque …

13 regression regularization sparse

1

Solution de forme fermée au problème du lasso lorsque la matrice de données est diagonale

\newcommand{\diag}{\operatorname{diag}} Nous avons le problème: en supposant que: \ sum_ {i = 1} ^ nx_ix_i ^ T = \ diag (\ sigma_1 ^ 2, ..., \ sigma_d ^ 2).n Σ i=1xix T i =diag(σ 2 1 ,...,Σ 2 d ).minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right),∑i=1nxixTi=diag(σ21,...,σ2d).∑i=1nxixiT=diag⁡(σ12,...,σd2).\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2). Existe-t-il une solution sous …

13 mathematical-statistics lasso computational-statistics regularization

1

Empêcher le surajustement de LSTM sur un petit ensemble de données

Je modélise 15000 tweets pour la prédiction des sentiments en utilisant un LSTM monocouche avec 128 unités cachées en utilisant une représentation de type word2vec avec 80 dimensions. J'obtiens une précision de descente (38% avec aléatoire = 20%) après 1 époque. Plus l'entraînement fait baisser la précision de validation à …

13 deep-learning regularization overfitting lstm

1

Décomposition de la variance de biais

Dans la section 3.2 de Bishop's Pattern Recognition and Machine Learning , il discute de la décomposition biais-variance, déclarant que pour une fonction de perte au carré, la perte attendue peut être décomposée en un terme de biais au carré (qui décrit la distance entre les prévisions moyennes et la …

13 self-study variance bias regularization loss-functions

1

Régression logistique bayésienne régularisée dans JAGS

Il y a plusieurs articles mathématiques qui décrivent le lasso bayésien, mais je veux un code JAGS correct et testé que je peux utiliser. Quelqu'un pourrait-il publier un exemple de code BUGS / JAGS qui implémente une régression logistique régularisée? Tout schéma (L1, L2, Elasticnet) serait génial, mais Lasso est …

13 bayesian logistic lasso jags regularization

Questions marquées «regularization»