Statistiques et Big Data shrinkage

1

Dans quelles conditions exactement la régression des crêtes est-elle en mesure d'apporter une amélioration par rapport à la régression des moindres carrés ordinaires?

La régression de crête estime les paramètres ββ\boldsymbol \beta dans un modèle linéaire y=Xβy=Xβ\mathbf y = \mathbf X \boldsymbol \beta by β^λ=(X⊤X+λI)−1X⊤y,β^λ=(X⊤X+λI)−1X⊤y,\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y, où λλ\lambda est un paramètre de régularisation. Il est bien connu qu'elle fonctionne souvent …

16 regression ridge-regression shrinkage

1

Pourquoi le «lasso détendu» est-il différent du lasso standard?

Si nous commençons avec un ensemble de données , y appliquons Lasso et obtenons une solution , nous pouvons appliquer à nouveau Lasso à l'ensemble de données , où S est l'ensemble des non index zéro de \ beta ^ L , pour obtenir une solution, \ beta ^ {RL} …

16 regression optimization lasso regularization shrinkage

2

Pourquoi le retrait fonctionne-t-il vraiment, quelle est la particularité de 0?

Il y a déjà un article sur ce site qui parle du même problème: pourquoi le retrait fonctionne-t-il? Mais, même si les réponses sont populaires, je ne crois pas que l'essentiel de la question soit vraiment abordé. Il est assez clair que l'introduction d'un biais dans l'estimation entraîne une réduction …

15 regularization ridge-regression shrinkage

5

Le rétrécissement de James-Stein «à l'état sauvage»?

Je suis pris par l'idée du rétrécissement de James-Stein (c'est-à-dire qu'une fonction non linéaire d'une observation unique d'un vecteur de normales éventuellement indépendantes peut être un meilleur estimateur des moyennes des variables aléatoires, où «mieux» est mesuré par erreur quadratique ). Cependant, je ne l'ai jamais vu dans le travail …

15 estimation error shrinkage application steins-phenomenon

4

Sélection de pénalité optimale pour le lasso

Existe-t-il des résultats analytiques ou des articles expérimentaux concernant le choix optimal du coefficient du terme de pénalité ℓ1ℓ1\ell_1 ? Par optimal , je veux dire un paramètre qui maximise la probabilité de sélectionner le meilleur modèle, ou qui minimise la perte attendue. Je pose la question car il est …

15 model-selection lasso shrinkage

2

Qu'est-ce que le retrait?

Le mot rétrécissement est souvent utilisé dans certains cercles. Mais ce qui est rétrécissement, il ne semble pas y avoir de définition claire. Si j'ai une série chronologique (ou toute collection d'observations d'un processus), quelles sont les différentes façons de mesurer un certain type de rétrécissement empirique sur la série? …

13 estimation predictive-models shrinkage

1

Intuition pour les degrés de liberté du LASSO

Zou et al. "Sur les" degrés de liberté "du lasso" (2007) montrent que le nombre de coefficients non nuls est une estimation non biaisée et cohérente des degrés de liberté du lasso. Cela me semble un peu contre-intuitif. Supposons que nous ayons un modèle de régression (où les variables sont …

12 regression lasso degrees-of-freedom shrinkage

2

Si le retrait est appliqué de manière intelligente, cela fonctionne-t-il toujours mieux pour des estimateurs plus efficaces?

Supposons que j'ai deux estimateurs et qui sont des estimateurs cohérents du même paramètre et tels que avec V_1 \ leq V_2 au sens psd. Ainsi, asymptotiquement \ widehat {\ beta} _1 est plus efficace que \ widehat {\ beta} _2 . Ces deux estimateurs sont basés sur différentes fonctions …

11 regression ridge-regression shrinkage penalized

1

Choix de la plage et de la densité de grille pour le paramètre de régularisation dans LASSO

Je suis en train d' étudier LASSO (moins un retrait absolu et opérateur sélection) à l'intervalle. Je vois que la valeur optimale pour le paramètre de régularisation peut être choisie par validation croisée. Je vois aussi dans la régression de crête et de nombreuses méthodes qui appliquent la régularisation, nous …

11 lasso regularization shrinkage

1

Estimateur de James-Stein avec des variances inégales

Chaque énoncé que je trouve de l'estimateur de James-Stein suppose que les variables aléatoires estimées ont la même variance (et l'unité). Mais tous ces exemples mentionnent également que l'estimateur JS peut être utilisé pour estimer des quantités n'ayant rien à voir les unes avec les autres. L' exemple de wikipedia …

11 estimation shrinkage steins-phenomenon

3

Comment obtenir l'intervalle de confiance sur le changement du carré de la population

Pour un exemple simple, supposons qu'il existe deux modèles de régression linéaire Modèle 1 a trois prédicteurs, x1a, x2betx2c Le modèle 2 a trois prédicteurs du modèle 1 et deux prédicteurs supplémentaires x2aetx2b Il existe une équation de régression de la population où la variance de la population expliquée est …

10 regression confidence-interval estimation r-squared shrinkage anova t-test references tukey-hsd machine-learning boosting r clustering fishers-exact generalized-linear-model model probit link-function r survival probability distributions dice logistic lme4-nlme glmm meta-analysis distributions distributions factor-analysis r anova repeated-measures post-hoc

4

Lasso-ing l'ordre d'un décalage?

Supposons que j'ai des données longitudinales de la forme (j'ai plusieurs observations, ce n'est que la forme d'une seule). Je suis intéressé par les restrictions sur . Un sans restriction équivaut à prendre avec .Y =( Y1, … , YJ) ∼ N( μ , Σ )Y=(Y1,…,YJ)∼N(μ,Σ)\mathbf Y = (Y_1, \ldots, …

9 feature-selection lasso shrinkage

1

Test de permutation aléatoire pour la sélection des fonctionnalités

Je suis confus au sujet de l'analyse de permutation pour la sélection d'entités dans un contexte de régression logistique. Pourriez-vous fournir une explication claire du test de permutation aléatoire et comment s'applique-t-il à la sélection des fonctionnalités? Peut-être avec un algorithme et des exemples exacts. Enfin, comment se compare-t-il aux …

9 regression logistic feature-selection permutation-test shrinkage

2

Distribution des pièces «non mélangées» en fonction de l'ordre du mélange

Supposons que j'ai des observations appariées tirées iid comme pour . Soit Z_I = X_i + y_i, et on note Z_ {} i_j la j ème valeur observée de Z . Quelle est la distribution (conditionnelle) de X_ {i_j} ? (ou de manière équivalente, celle de Y_ {i_j} )i = …

9 distributions order-statistics shrinkage

2

Sélection d'entités sur un modèle linéaire généralisé hiérarchique bayésien

Je cherche à estimer un GLM hiérarchique mais avec une sélection de caractéristiques pour déterminer quelles covariables sont pertinentes au niveau de la population à inclure. Supposons que j'ai GGG groupes avec NNN observations et KKKcovariables possibles C'est-à-dire que j'ai une matrice de conception de covariables , résultats . Les …

8 machine-learning bayesian feature-selection hierarchical-bayesian shrinkage

Questions marquées «shrinkage»