Statistiques et Big Data regularization

2

La limite de l'estimateur de régression de crête de «variance unitaire» lorsque

Considérons la régression de crête avec une contrainte supplémentaire exigeant que ait une somme unitaire de carrés (de manière équivalente, la variance unitaire); si nécessaire, on peut supposer que a également une somme unitaire de carrés: yy^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf …

21 pca regularization ridge-regression partial-least-squares constrained-regression

2

couverture des intervalles de confiance avec des estimations régularisées

Supposons que j'essaie d'estimer un grand nombre de paramètres à partir de données de grande dimension, en utilisant une sorte d'estimations régularisées. Le régularisateur introduit un certain biais dans les estimations, mais il peut toujours être un bon compromis car la réduction de la variance devrait plus que compenser. Le …

21 confidence-interval bias regularization ridge-regression coverage-probability

1

La preuve de la diminution des coefficients par régression de crête par «décomposition spectrale»

J'ai compris comment la régression de crête rétrécit géométriquement les coefficients vers zéro. De plus, je sais comment le prouver dans le cas spécial "Orthonormal Case", mais je ne sais pas comment cela fonctionne dans le cas général via la "décomposition spectrale".

20 regression multiple-regression regularization ridge-regression svd

5

Avons-nous encore besoin de sélectionner des fonctionnalités lors de l'utilisation d'algorithmes de régularisation?

J'ai une question concernant la nécessité d'utiliser des méthodes de sélection d'entités (forêts aléatoires, valeur d'importance des caractéristiques ou méthodes de sélection d'entités univariées, etc.) avant d'exécuter un algorithme d'apprentissage statistique. Nous savons que pour éviter le sur-ajustement, nous pouvons introduire une pénalité de régularisation sur les vecteurs de poids. …

20 regression machine-learning feature-selection lasso regularization

1

avertissement et validation croisée de libsvm "atteignant le nombre maximal d'itérations"

J'utilise libsvm en mode C-SVC avec un noyau polynomial de degré 2 et je dois former plusieurs SVM. Chaque ensemble d'entraînement a 10 fonctionnalités et 5000 vecteurs. Pendant la formation, je reçois cet avertissement pour la plupart des SVM que je forme: WARNING: reaching max number of iterations optimization finished, …

20 machine-learning cross-validation svm regularization libsvm

5

Éviter le sur-ajustement dans la régression: alternatives à la régularisation

La régularisation en régression (linéaire, logistique ...) est le moyen le plus utilisé pour réduire le sur-ajustement. Lorsque l'objectif est la précision des prédictions (sans explication), existe-t-il de bonnes alternatives à la régularisation, particulièrement adaptées aux ensembles de données volumineuses (mi / milliards d'observations et millions de fonctionnalités)?

19 regression regularization overfitting

2

La régularisation peut-elle être utile si nous ne nous intéressons qu'à la modélisation, pas aux prévisions?

La régularisation peut-elle être utile si nous nous intéressons uniquement à l'estimation (et à l'interprétation) des paramètres du modèle, pas à la prévision ou à la prédiction? Je vois à quel point la régularisation / validation croisée est extrêmement utile si votre objectif est de faire de bonnes prévisions sur …

19 cross-validation econometrics model-selection interpretation regularization

3

Relation entre la régression de crête et la régression PCA

Je me souviens avoir lu quelque part sur le Web une connexion entre la régression de crête (avec la régularisation ) et la régression PCA: lors de l'utilisation de la régression régularisée avec un hyperparamètre , si , la régression équivaut à supprimer le Variable PC avec la plus petite …

19 regression pca regularization ridge-regression

1

Existe-t-il une interprétation bayésienne de la régression linéaire avec régularisation simultanée L1 et L2 (aka filet élastique)?

Il est bien connu que la régression linéaire avec une pénalité de équivaut à trouver l'estimation MAP donnée un a priori gaussien sur les coefficients. De même, l'utilisation d'une pénalité équivaut à l'utilisation d'une distribution de Laplace comme a priori.l2l2l^2l1l1l^1 Il n'est pas rare d'utiliser une combinaison pondérée de régularisation …

17 regression bayesian regularization prior elastic-net

4

Comment expliquer la régularisation du décrochage en termes simples?

Si vous avez une demi-page pour expliquer l' abandon , comment procéderiez-vous? Quelle est la raison d'être de cette technique?

17 neural-networks deep-learning regularization dropout

4

Que signifie «degré de liberté» dans les réseaux de neurones?

Dans le livre de Bishop "Pattern Classification and Machine Learning", il décrit une technique de régularisation dans le contexte des réseaux de neurones. Cependant, je ne comprends pas un paragraphe décrivant que pendant le processus de formation, le nombre de degrés de liberté augmente avec la complexité du modèle. La …

17 machine-learning neural-networks regularization degrees-of-freedom

2

Fréquentisme et prieurs

Robby McKilliam dit dans un commentaire à ce post: Il convient de souligner que, du point de vue des fréquentistes, il n'y a aucune raison pour que vous ne puissiez pas intégrer les connaissances antérieures dans le modèle. En ce sens, la vue fréquentiste est plus simple, vous n'avez qu'un …

17 bayesian prior regularization frequentist

2

Pourquoi Lasso ou ElasticNet fonctionnent mieux que Ridge lorsque les fonctionnalités sont corrélées

J'ai un ensemble de 150 fonctionnalités, et beaucoup d'entre elles sont fortement corrélées les unes aux autres. Mon objectif est de prédire la valeur d'une variable discrète, dont la plage est 1-8 . La taille de mon échantillon est de 550 et j'utilise une validation croisée 10 fois . AFAIK, …

17 regression lasso regularization ridge-regression elastic-net

1

Pourquoi le «lasso détendu» est-il différent du lasso standard?

Si nous commençons avec un ensemble de données , y appliquons Lasso et obtenons une solution , nous pouvons appliquer à nouveau Lasso à l'ensemble de données , où S est l'ensemble des non index zéro de \ beta ^ L , pour obtenir une solution, \ beta ^ {RL} …

16 regression optimization lasso regularization shrinkage

1

Quelle est la plage typique de valeurs possibles pour le paramètre de rétrécissement dans la régression pénalisée?

En régression lasso ou crête, il faut spécifier un paramètre de rétrécissement, souvent appelé par ou α . Cette valeur est souvent choisie par validation croisée en vérifiant un tas de valeurs différentes sur les données d'entraînement et en voyant celle qui donne le meilleur, par exemple R 2 sur …

16 regression lasso regularization ridge-regression penalized

Questions marquées «regularization»