Questions marquées «ridge-regression»

Une méthode de régularisation pour les modèles de régression qui réduit les coefficients vers zéro.

2
Régression des crêtes - interprétation bayésienne
J'ai entendu dire que la régression des crêtes peut être dérivée comme la moyenne d'une distribution postérieure, si l'a priori est adéquatement choisi. L'intuition est-elle que les contraintes définies sur les coefficients de régression par les a priori (par exemple, les distributions normales standard autour de 0) sont identiques / …
1
Relaxation lagrangienne dans le contexte de la régression des crêtes
Dans "The Elements of Statistical Learning" (2nd ed), p63, les auteurs donnent les deux formulations suivantes du problème de régression des crêtes: β^r i dge= argminβ{ ∑i = 1N( yje- β0- ∑j = 1pXje jβj)2+ λ ∑j = 1pβ2j}β^rjerége=argminβ{∑je=1N(yje-β0-∑j=1pXjejβj)2+λ∑j=1pβj2} \hat{\beta}^{ridge} = \underset{\beta}{\operatorname{argmin}} \left\{ \sum_{i=1}^N(y_i-\beta_0-\sum_{j=1}^p x_{ij} \beta_j)^2 + \lambda \sum_{j=1}^p \beta_j^2 …
4
La preuve de formules équivalentes de régression de crête
J'ai lu les livres les plus populaires en apprentissage statistique 1- Les éléments de l'apprentissage statistique. 2- Une introduction à l'apprentissage statistique . Les deux mentionnent que la régression de crête a deux formules qui sont équivalentes. Existe-t-il une preuve mathématique compréhensible de ce résultat? Je suis également passé par …
1
Coefficients de régression de crête plus grands que les coefficients OLS ou qui changent de signe en fonction de
Lorsque vous exécutez une régression de crête, comment interprétez-vous les coefficients qui se retrouvent plus grands que leurs coefficients correspondants sous les moindres carrés (pour certaines valeurs de )? La régression des crêtes n'est-elle pas censée réduire les coefficients de façon monotone?λλ\lambda Sur une note connexe, comment interpréter un coefficient …
1
Comprendre la régression de crête négative
Je recherche de la documentation sur la régression de crête négative . En bref, il est une généralisation de la régression linéaire de la crête négative en utilisant λλ\lambda dans la formule β^=(X⊤X+λI)−1X⊤y.β^=(X⊤X+λI)−1X⊤y.\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.Le cas positif a une belle théorie: en tant …
5
Normes Ridge & LASSO
Cet article suit celui-ci: pourquoi l'estimation des crêtes devient-elle meilleure que l'OLS en ajoutant une constante à la diagonale? Voici ma question: Pour autant que je sache, la régularisation des crêtes utilise une norme ℓ2ℓ2\ell_2 (distance euclidienne). Mais pourquoi utilisons-nous le carré de cette norme? (une application directe de ℓ2ℓ2\ell_2 …
1
Comment interpréter les résultats lorsque la crête et le lasso fonctionnent bien séparément mais produisent des coefficients différents
J'utilise un modèle de régression avec Lasso et Ridge (pour prédire une variable de résultat discrète allant de 0 à 5). Avant d'exécuter le modèle, j'utilise la SelectKBestméthode de scikit-learnpour réduire l'ensemble de fonctionnalités de 250 à 25 . Sans sélection initiale des caractéristiques, Lasso et Ridge cèdent tous deux …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.