Statistiques et Big Data regularization

1

Les degrés de liberté peuvent-ils être un nombre non entier?

Lorsque j'utilise GAM, cela me donne un DF résiduel de (dernière ligne du code). Qu'est-ce que ça veut dire? Au-delà de l'exemple GAM, en général, le nombre de degrés de liberté peut-il être un nombre non entier?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) …

27 r degrees-of-freedom gam machine-learning pca lasso probability self-study bootstrap expected-value regression machine-learning linear-model probability simulation random-generation machine-learning distributions svm libsvm classification pca multivariate-analysis feature-selection archaeology r regression dataset simulation r regression time-series forecasting predictive-models r mean sem lavaan machine-learning regularization regression conv-neural-network convolution classification deep-learning conv-neural-network regression categorical-data econometrics r confirmatory-factor scale-invariance self-study unbiased-estimator mse regression residuals sampling random-variable sample probability random-variable convergence r survival weibull references autocorrelation hypothesis-testing distributions correlation regression statistical-significance regression-coefficients univariate categorical-data chi-squared regression machine-learning multiple-regression categorical-data linear-model pca factor-analysis factor-rotation classification scikit-learn logistic p-value regression panel-data multilevel-analysis variance bootstrap bias probability r distributions interquartile time-series hypothesis-testing normal-distribution normality-assumption kurtosis arima panel-data stata clustered-standard-errors machine-learning optimization lasso multivariate-analysis ancova machine-learning cross-validation

3

L'origine du terme «régularisation»

Lorsque je présente des concepts à mes élèves, je trouve souvent amusant de leur dire d'où vient la terminologie («régression», par exemple, est un terme avec une origine intéressante). Je n'ai pas pu retracer l'historique / le contexte du terme "régularisation" en statistique / apprentissage automatique. Alors, quelle est l'origine …

27 terminology regularization history tikhonov-regularization

2

Pourquoi la pénalité de Lasso est-elle équivalente à la double exponentielle (Laplace) antérieure?

J'ai lu dans un certain nombre de références que l'estimation de Lasso pour le vecteur de paramètre de régression est équivalente au mode postérieur de dans lequel la distribution antérieure pour chaque est une distribution exponentielle double (également connue sous le nom de distribution de Laplace).BBBBBBBiBiB_i J'ai essayé de le …

27 regression bayesian lasso prior regularization

6

Pourquoi des poids plus petits donnent-ils des modèles de régularisation plus simples?

J'ai terminé le cours d'apprentissage automatique d'Andrew Ng il y a environ un an et j'écris maintenant mon exploration des mathématiques au lycée sur le fonctionnement de la régression logistique et des techniques pour optimiser les performances. Une de ces techniques est bien sûr la régularisation. L'objectif de la régularisation …

27 regression machine-learning optimization regularization overfitting

2

Avantages de faire du «double lasso» ou de faire du lasso deux fois?

J'ai entendu une fois une méthode d'utilisation du lasso deux fois (comme un double-lasso) où vous effectuez le lasso sur l'ensemble de variables d'origine, par exemple S1, obtenez un ensemble clairsemé appelé S2, puis exécutez à nouveau le lasso sur l'ensemble S2 pour obtenir l'ensemble S3 . Y a-t-il un …

26 regression lasso regularization shrinkage lars

3

Pourquoi utiliser les estimations Lasso sur les estimations OLS sur le sous-ensemble de variables identifié par Lasso?

Pour la régression Lasso supposons que la meilleure solution (erreur de test minimale par exemple) sélectionne k fonctionnalités, de sorte que \ hat {\ beta} ^ {lasso} = \ left (\ hat {\ beta} _1 ^ {lasso}, \ hat {\ beta} _2 ^ {lasso}, ..., \ hat {\ beta} _k …

26 regression feature-selection lasso regularization

5

Comment les principaux composants principaux peuvent-ils conserver le pouvoir prédictif sur une variable dépendante (ou même conduire à de meilleures prédictions)?

Supposons que je courais une régression . Pourquoi en sélectionnant les premiers composants de , le modèle conserve-t-il son pouvoir prédictif sur ?k X YOui∼ XOui∼XY \sim XkkkXXXOuiOuiY Je comprends que du point de vue de la réduction de dimensionnalité / sélection des caractéristiques, si sont les vecteurs propres de …

25 regression classification pca dimensionality-reduction regularization

2

Est-il judicieux de combiner PCA et LDA?

Supposons que j'ai un ensemble de données pour une tâche de classification statistique supervisée, par exemple via un classifieur Bayes. Cet ensemble de données se compose de 20 entités et je veux le résumer à 2 entités via des techniques de réduction de dimensionnalité telles que l'analyse en composantes principales …

25 classification pca regularization discriminant-analysis overfitting

3

Interprétation de la régularisation des crêtes en régression

J'ai plusieurs questions concernant la pénalité de crête dans le contexte des moindres carrés: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) L'expression suggère que la matrice de covariance de X est rétrécie vers une matrice diagonale, ce qui signifie que (en supposant que les variables sont normalisées avant la procédure) …

25 regression pca regularization ridge-regression

4

Les estimations de régression L1 sont médianes alors que les estimations de régression L2 signifient?

On m'a donc posé une question sur laquelle les mesures centrales L1 (c.-à-d. Le lasso) et L2 (c.-à-d. La régression des crêtes) ont été estimées. La réponse est L1 = médiane et L2 = moyenne. Y a-t-il un type de raisonnement intuitif à cela? Ou faut-il le déterminer algébriquement? Si …

24 lasso regularization loss-functions ridge-regression

2

Pourquoi lambda «dans une erreur standard du minimum» est-il une valeur recommandée pour lambda dans une régression nette élastique?

Je comprends le rôle que joue lambda dans une régression élastique-nette. Et je peux comprendre pourquoi on sélectionnerait lambda.min, la valeur de lambda qui minimise l'erreur de validation croisée. Ma question est: où dans la littérature statistique est-il recommandé d'utiliser lambda.1se, quelle est la valeur de lambda qui minimise l'erreur …

24 regression cross-validation regularization glmnet elastic-net

2

Pourquoi Laplace produit-elle avant des solutions éparses?

Je regardais à travers la littérature sur la régularisation, et je vois souvent des paragraphes qui relient la régulation de L2 à Gaussian prior, et L1 à Laplace centrée sur zéro. Je sais à quoi ressemblent ces priors, mais je ne comprends pas comment cela se traduit, par exemple, par …

23 regression bayesian prior regularization laplace-distribution

1

Pénalité de bridge vs régularisation d'Elastic Net

Certaines fonctions de pénalité et approximations sont bien étudiées, comme le LASSO ( L1L1L_1 ) et le Ridge ( L2L2L_2 ) et comment elles se comparent en régression. ∑∥βj∥γ∑‖βj‖γ\sum \|\beta_{j}\|^{\gamma}γ=1γ=1\gamma = 1γ=2γ=2\gamma = 2 Wenjiang [ 1 ] a comparé la pénalité Bridge quand γ≥1γ≥1\gamma \geq 1 au LASSO, mais …

22 regression lasso regularization ridge-regression elastic-net

2

Qu'est-ce que la «régression à rang réduit»?

J'ai lu Les éléments de l'apprentissage statistique et je ne pouvais pas comprendre en quoi consiste la section 3.7 «Réduction et sélection des résultats multiples». Il parle de RRR (régression à rang réduit), et je peux seulement comprendre que la prémisse concerne un modèle linéaire multivarié généralisé où les coefficients …

22 regression multivariate-analysis dimensionality-reduction regularization reduced-rank-regression

3

Pourquoi Lars et Glmnet donnent-ils des solutions différentes au problème du Lasso?

Je veux mieux comprendre les packages R Larset Glmnet, qui sont utilisés pour résoudre le problème Lasso: (pour Variables et échantillons, voir www.stanford.edu/~hastie/Papers/glmnet.pdf à la page 3)m i n( β0β) ∈ Rp + 1[ 12 N∑i = 1N( yje- β0- xTjeβ)2+ λ | | β| |l1]mjen(β0β)∈Rp+1[12N∑je=1N(yje-β0-XjeTβ)2+λ||β||l1]min_{(\beta_0 \beta) \in R^{p+1}} \left[\frac{1}{2N}\sum_{i=1}^{N}(y_i-\beta_0-x_i^T\beta)^2 …

22 r regression machine-learning lasso regularization

Questions marquées «regularization»