Questions marquées «regularization»

Inclusion de contraintes supplémentaires (généralement une pénalité pour la complexité) dans le processus d'ajustement du modèle. Utilisé pour éviter le sur-ajustement / améliorer la précision prédictive.

2
Pourquoi la régression des crêtes ne peut-elle pas offrir une meilleure interprétabilité que LASSO?
J'ai déjà une idée des avantages et des inconvénients de la régression des crêtes et du LASSO. Pour le LASSO, le terme de pénalité L1 donnera un vecteur de coefficient clairsemé, qui peut être considéré comme une méthode de sélection de caractéristiques. Cependant, il existe certaines limitations pour le LASSO. …
3
Les techniques de régularisation peuvent-elles (devraient-elles?) Être utilisées dans un modèle à effets aléatoires?
Par techniques de régularisation, je fais référence au lasso, à la régression des crêtes, au filet élastique et similaires. Envisager un modèle prédictif sur les données de soins de santé contenant des données démographiques et diagnostiques où la durée du séjour pour les séjours en milieu hospitalier est prévue. Pour …
1
Relation LASSO entre et
Ma compréhension de la régression LASSO est que les coefficients de régression sont sélectionnés pour résoudre le problème de minimisation: minβ∥y−Xβ∥22 s.t.∥β∥1≤tminβ‖y−Xβ‖22 s.t.‖β‖1≤t\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t En pratique, cela se fait en utilisant un multiplicateur de Lagrange, ce qui rend le problème à résoudre …
3
Que veulent dire les statisticiens quand ils disent que nous ne comprenons pas vraiment comment fonctionne le LASSO (régularisation)?
J'ai récemment assisté à quelques discussions sur les statistiques du Lasso (régularisation) et un point qui revient sans cesse est que nous ne comprenons pas vraiment pourquoi le Lasso fonctionne ou pourquoi il fonctionne si bien. Je me demande à quoi se réfère cette déclaration. Évidemment, je comprends pourquoi le …
1
Réplication des résultats de la régression linéaire glmnet à l'aide d'un optimiseur générique
Comme l'indique le titre, j'essaie de reproduire les résultats de glmnet linear en utilisant l'optimiseur LBFGS de la bibliothèque lbfgs. Cet optimiseur nous permet d'ajouter un terme de régularisateur L1 sans avoir à se soucier de la différentiabilité, tant que notre fonction objectif (sans le terme de régularisateur L1) est …
4
Régularisation: pourquoi multiplier par 1 / 2m?
Dans les notes de cours de la semaine 3 du cours Coursera Machine Learning d' Andrew Ng , un terme est ajouté à la fonction de coût pour implémenter la régularisation: J+(θ)=J(θ)+λ2m∑j=1nθ2jJ+(θ)=J(θ)+λ2m∑j=1nθj2J^+(\theta) = J(\theta) + \frac{\lambda}{2m} \sum_{j=1}^n \theta_j^2 Les notes de cours disent: Nous pourrions également régulariser tous nos paramètres …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.