Relation entre la régression de crête et la régression PCA

Je me souviens avoir lu quelque part sur le Web une connexion entre la régression de crête (avec la régularisation ) et la régression PCA: lors de l'utilisation de la régression régularisée avec un hyperparamètre , si , la régression équivaut à supprimer le Variable PC avec la plus petite valeur propre. $\ell_2$ $\ell_2$ $\lambda$ $\lambda \to 0$

Pourquoi est-ce vrai?
Cela a-t-il quelque chose à voir avec la procédure d'optimisation? Naïvement, je m'attendais à ce qu'il soit équivalent à OLS.
Quelqu'un at-il une référence pour cela?

— Jose G
source

Pourriez-vous expliquer plus explicitement comment l'APC et la régression sont liées dans votre déclaration? La régression distingue les variables dépendantes des variables indépendantes, alors que rien de tel ne se produit dans l'ACP. Alors, à quelles variables appliquez-vous PCA? Il ne peut pas s'agir uniquement de variables indépendantes, car cela aurait peu à voir avec la régression. Mais s'il est appliqué à toutes les variables, alors les vecteurs propres sont des combinaisons linéaires de tous. Que pourrait signifier la suppression d' un tel composant de l'ensemble de données, car il implique la variable dépendante?

— whuber

La connexion (si je comprends bien), est que si vous utilisez une très petite pénalité de régularisation, une régression régularisée en L2 supprimerait la variable qui a la plus petite valeur propre. Par conséquent, faire SVD sur la matrice de conception et supprimer la variable avec la plus petite valeur propre équivaut à une régression avec une pénalité de régularisation "douce" ... C'est l'explication la plus proche que j'ai trouvée à ce sujet: sites.stat.psu. edu / ~ jiali / course / stat597e / notes2 / lreg.pdf

— Jose G

Votre référence semble démontrer le contraire de ce que vous dites dans vos commentaires: pour small , il y a très peu de changement dans les résultats. Rien n'est supprimé du tout. En fait, plusieurs diapositives semblent viser à souligner la différence entre la régression pénalisée (dans laquelle les estimations sont réduites à ) et la "régression PCA" (dans laquelle les plus petites composantes sont entièrement supprimées - ce qui peut être une très mauvaise chose dans certaines circonstances).

λ

$\lambda$

L^{2}

$L^2$

0

$0$

— whuber

Mmm .. a trouvé une autre référence: statweb.stanford.edu/~owen/courses/305/Rudyregularization.pdf Dans la diapositive " et composants principaux", il est dit que la régression de crête projette y sur ces composants avec de grands dj * soupir *

y^{r i d g e}

$y^{ridge}$

— Jose G

Avez-vous remarqué que p. 14 de cette dernière référence répond explicitement à votre question?

— whuber

Réponses:

Soit la matrice prédictive centrée et considérons sa décomposition en valeur singulière avec étant une matrice diagonale avec des éléments diagonaux . $\mathbf X$ $n \times p$ $\mathbf X = \mathbf{USV}^\top$ $\mathbf S$ $s_i$

Les valeurs ajustées de la régression des moindres carrés ordinaires (OLS) sont données parLes valeurs ajustées de la régression des crêtes sont données parLes valeurs ajustées de la régression PCA (PCR) avec composantes sont données par

{\hat{y}}_{O L S} = X β_{O L S} = X (X^{⊤} X)^{- 1} X^{⊤} y = U U^{⊤} y .

$\hat {\mathbf y}_\mathrm{OLS} = \mathbf X \beta_\mathrm{OLS} = \mathbf X (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y = \mathbf U \mathbf U^\top \mathbf y.$

{\hat{y}}_{r je ré g e} = X β_{r je ré g e} = X (X^{⊤} X + λ je)^{- 1} X^{⊤} y = U ré je une g {\frac{s_{je}^{2}}{s_{je}^{2} + λ}} U^{⊤} y .

$\hat {\mathbf y}_\mathrm{ridge} = \mathbf X \beta_\mathrm{ridge} = \mathbf X (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y = \mathbf U\: \mathrm{diag}\left\{\frac{s_i^2}{s_i^2+\lambda}\right\}\mathbf U^\top \mathbf y.$

k

$k$

{\hat{y}}_{P C R} = X_{P C UNE} β_{P C R} = U ré je une g {1, \dots, 1, 0, \dots 0} U^{⊤} y,

$\hat {\mathbf y}_\mathrm{PCR} = \mathbf X_\mathrm{PCA} \beta_\mathrm{PCR} = \mathbf U\: \mathrm{diag}\left\{1,\ldots, 1, 0, \ldots 0\right\}\mathbf U^\top \mathbf y,$ où il y en a suivis de zéros.

k

$k$

De là, nous pouvons voir que:

Si alors . $\lambda=0$ $\hat {\mathbf y}_\mathrm{ridge} = \hat {\mathbf y}_\mathrm{OLS}$
Si alors plus la valeur singulière , moins elle sera pénalisée dans la régression de crête. Les petites valeurs singulières ( et plus petites) sont les plus pénalisées. $\lambda>0$ $s_i$ $s_i^2 \approx \lambda$
En revanche, dans la régression PCA, les grandes valeurs singulières sont conservées intactes et les petites (après un certain nombre ) sont complètement supprimées. Cela correspondrait à pour les premiers et pour les autres. $k$ $\lambda=0$ $k$ $\lambda=\infty$
Cela signifie que la régression des crêtes peut être considérée comme une "version fluide" de la PCR.

(Cette intuition est utile mais ne tient pas toujours; par exemple, si tous les sont approximativement égaux, alors la régression de crête ne pourra pénaliser que toutes les composantes principales de peu près également et peut différer fortement de la PCR). $s_i$ $\mathbf X$
La régression des crêtes a tendance à mieux fonctionner en pratique (par exemple, pour avoir des performances croisées plus élevées).
Répondre maintenant spécifiquement à votre question: si , alors . Je ne vois pas comment cela peut correspondre à la suppression du plus petit . Je pense que cela est faux. $\lambda \to 0$ $\hat {\mathbf y}_\mathrm{ridge} \to \hat {\mathbf y}_\mathrm{OLS}$ $s_i$

Une bonne référence est The Elements of Statistical Learning , Section 3.4.1 "Ridge regression".

Voir aussi ce fil: Interprétation de la régularisation des crêtes en régression et en particulier la réponse de @BrianBorchers.

— amibe dit réintégrer Monica
source

Serait-il jamais judicieux de seuiller en douceur les valeurs singulières, max ( thresh, 0)? (Seuils souples de régression Lasso , pas le spectre.)

s_{i} -

$s_i -$

β_{L e a s t - s q u a r e s}

$\beta_{Least-squares}$

— denis

Une correction à votre excellente réponse: les valeurs ajustées dans la régression sur les premiers PC sont en fait C'est un exercice à la fin du chapitre que vous mentionnez.

k

$k$

U diag (1_{1}, 1_{2}, . . ., 1_{k}, 0, . . ., 0) U^{T} y

$\mathbf{U} {\text{diag}}(1_1,1_2,...,1_k,0,...,0)\mathbf{U}^T\mathbf{y}$

— Matthias Schmidtblaicher

C'est beau.

— xxx222

Elements of Statistical Learning a une grande discussion sur ce lien.

La façon dont j'ai interprété cette connexion et cette logique est la suivante:

PCA est une combinaison linéaire des variables d'entité, essayant de maximiser la variance des données expliquées par le nouvel espace.
Les données qui souffrent de multicollinéarité (ou de plus de prédicteurs que les lignes de données) conduisent à une matrice de covariance qui n'a pas le rang complet.
Avec cette matrice de covariance, nous ne pouvons pas inverser pour déterminer la solution des moindres carrés; cela provoque l'explosion numérique des coefficients des moindres carrés jusqu'à l'infini.
La régression de crête introduit la pénalité Lambda sur la matrice de covariance pour permettre l'inversion de la matrice et la convergence des coefficients LS.

La connexion PCA est que Ridge Regression calcule les combinaisons linéaires des entités pour déterminer où se produit la multicolinéarité. Les combinaisons linéaires de caractéristiques (analyse en composantes principales) avec la plus petite variance (et donc des valeurs singulières plus petites et des valeurs propres plus petites dans l'ACP) sont celles qui sont le plus pénalisées.

Pense-y de cette façon; pour les combinaisons linéaires d'entités avec la plus petite variance, nous avons trouvé les entités qui se ressemblent le plus, provoquant ainsi la multicolinéarité. Étant donné que Ridge ne réduit pas l'ensemble des entités, quelle que soit la direction décrite par cette combinaison linéaire, l'entité d'origine correspondant à cette direction est la plus pénalisée.

— MDornbos
source

Considérons l'équation linéaire et le SVD de , où est la matrice diagonale des valeurs singulières.

X β = y,

$\mathbf X \beta = \mathbf y\,,$

X

$\mathbf X$

X = U S V^{T},

$\mathbf X = \mathbf U \,\mathbf S \,\mathbf V^T,$

S = diag (s_{i})

$\mathbf S = \text{diag}(s_i)$

Les moindres carrés ordinaires déterminent le vecteur de paramètres as Cependant, cette approche échoue dès qu'il y a une valeur singulière qui est zéro (car alors l'inverse n'existe pas). De plus, même si aucun n'est excessivement nul, des valeurs singulières numériquement petites peuvent rendre la matrice mal conditionnée et conduire à une solution qui est très sensible aux erreurs. $\beta$

β_{O L S} = V S^{- 1} U^{T}

$\beta_{OLS} = \mathbf V \,\mathbf S^{-1} \,\mathbf U^T$

s_{i}

$s_i$

La régression de crête et l'ACP présentent deux méthodes pour éviter ces problèmes. La régression des crêtes remplace dans l'équation ci-dessus pour par $\mathbf S^{-1}$ $\beta$

\begin{aligned} S_{crête}^{- 1} & = diag (\frac{s_{je}}{s_{je}^{2} + α}), \\ β_{crête} & = V S_{crête}^{- 1} U^{T} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{ridge}} &= \text{diag}\bigg(\frac{s_i}{s^2_i+\alpha}\bigg),\\ \beta_{\text{ridge}} &= \ \mathbf V \,\mathbf S_{\text{ridge}}^{-1} \,\mathbf U^T \end{align}$

PCA remplace par wehre est la fonction pas à pas et est le paramètre de seuil. $\mathbf S^{-1}$

\begin{aligned} S_{PCA}^{- 1} & = diag (\frac{1}{s_{je}} θ (s_{je} - γ)), \\ β_{PCA} & = V S_{PCA}^{- 1} U^{T} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{PCA}} &= \text{diag}\bigg(\frac{1}{s_i} \, \theta(s_i-\gamma)\bigg)\,,\\ \beta_{\text{PCA}} &= \ \mathbf V \,\mathbf S_{\text{PCA}}^{-1} \,\mathbf U^T \end{align}$

θ

$\theta$

γ

$\gamma$

Les deux méthodes affaiblissent ainsi l'impact des sous-espaces correspondant aux petites valeurs. PCA fait cela de manière difficile, tandis que la crête est une approche plus fluide.

Plus abstraitement, n'hésitez pas à créer votre propre schéma de régularisation où est une fonction qui devrait approcher zéro pour et pour large. Mais rappelez-vous, il n'y a pas de déjeuner gratuit.

S_{myReg}^{- 1} = diag (R (s_{je})),

$\mathbf S^{-1}_{\text{myReg}} = \text{diag}\big(R(s_i)\big)\,,$

R (x)

$R(x)$

x \to 0

$x\rightarrow 0$

R (x) \to x^{- 1}

$R(x)\rightarrow x^{-1}$

x

$x$

— davidhigh
source