La limite de l'estimateur de régression de crête de «variance unitaire» lorsque

Considérons la régression de crête avec une contrainte supplémentaire exigeant que ait une somme unitaire de carrés (de manière équivalente, la variance unitaire); si nécessaire, on peut supposer que a également une somme unitaire de carrés: $\hat{\mathbf y}$ $\mathbf y$

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1.

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1.$

Quelle est la limite de $\hat{\boldsymbol\beta}_\lambda^*$ lorsque $\lambda\to\infty$ ?

Voici quelques déclarations qui, je crois, sont vraies:

Lorsque $\lambda=0$ , il existe une solution explicite: prenez l'estimateur OLS $\hat{\boldsymbol\beta}_0=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf y$ et normaliser pour satisfaire la contrainte (on peut le voir en ajoutant un multiplicateur de Lagrange et en le différenciant):
${\hat{β}}_{0}^{*} = {\hat{β}}_{0} / ‖ X {\hat{β}}_{0} ‖ .$ $\hat{\boldsymbol\beta}_0^* = \hat{\boldsymbol\beta}_0 \big/ \|\mathbf X\hat{\boldsymbol\beta}_0\|.$
En général, la solution est
${\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .$ $\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$ Je ne vois pas de solution de formulaire fermé lorsque $\lambda >0$ . Il semble que la solution soit équivalente à l'estimateur RR habituel avec certains $\lambda^*$ normalisés pour satisfaire la contrainte, mais je ne vois pas de formule fermée pour $\lambda^*$ .
Lorsque $\lambda\to \infty$ , l'estimateur RR habituel converge
${\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y$ $\hat{\boldsymbol\beta}_\lambda=(\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top \mathbf y$ évidemment vers zéro, mais sa direction $\hat{\boldsymbol\beta}_\lambda \big/ \|\hat{\boldsymbol\beta}_\lambda\|$ converge vers la direction de $\mathbf X^\top \mathbf y$ , alias le premier composant des moindres carrés partiels (PLS).

Les déclarations (2) et (3) ensemble me font penser que peut-être $\hat{\boldsymbol\beta}_\lambda^*$ converge également vers le normalisé de manière appropriée $\mathbf X^\top \mathbf y$ , mais je ne suis pas sûr si cela est correct et je n'ai pas réussi à me convaincre de toute façon.

— amibe dit réintégrer Monica
source

Réponses:

Une interprétation géométrique

L'estimateur décrit dans la question est l'équivalent multiplicateur de Lagrange du problème d'optimisation suivant:

minimize f (β) subject to g (β) \leq t and h (β) = 1

$\text{minimize $f(\beta)$ subject to $g(\beta) \leq t$ and $h(\beta) = 1$ }$

\begin{aligned} f (β) & = ‖ y - X β ‖^{2} \\ g (β) & = ‖ β ‖^{2} \\ h (β) & = ‖ X β ‖^{2} \end{aligned}

$\begin{align} f(\beta) &= \lVert y-X\beta \lVert^2 \\ g(\beta) &= \lVert \beta \lVert^2\\ h(\beta) &= \lVert X\beta \lVert^2 \end{align}$

qui peut être considérée, géométriquement, comme trouvant le plus petit ellipsoïde qui touche l'intersection de la sphère et de l'ellipsoïde $f(\beta)=\text{RSS }$ $g(\beta) = t$ $h(\beta)=1$

Comparaison avec la vue de régression de crête standard

En termes de vue géométrique, cela change l' ancienne vue (pour la régression de crête standard) du point où un sphéroïde (erreurs) et une sphère ( ) se touchent $\|\beta\|^2=t$ . Dans une nouvelle vue où l'on cherche le point où le sphéroïde (erreurs) touche une courbe (norme de bêta contrainte par ) $\|X\beta\|^2=1$ . La sphère unique (bleue dans l'image de gauche) se transforme en une figure de dimension inférieure en raison de l'intersection avec la contrainte . $\|X\beta\|=1$

Dans le cas bidimensionnel, cela est simple à voir.

Lorsque nous réglons le paramètre nous modifions la longueur relative des sphères bleues / rouges ou les tailles relatives de et (Dans la théorie des multiplicateurs lagrangiens, il y a probablement un bon moyen de formellement et décrire exactement que cela signifie que pour chaque en fonction de , ou inversé, est une fonction monotone. Mais j'imagine que vous pouvez voir intuitivement que la somme des carrés au carré augmente uniquement lorsque nous diminuons .) $t$ $f(\beta)$ $g(\beta)$ $t$ $\lambda$ $||\beta||$

La solution pour est comme vous l'avez argumenté sur une ligne entre 0 et $\beta_\lambda$ $\lambda=0$ $\beta_{LS}$

La solution pour est (en effet comme vous l'avez commenté) dans les chargements du premier composant principal. C'est le point où est le plus petit pour . C'est le point où le cercle touche l'ellipse en un seul point. $\beta_\lambda$ $\lambda \to \infty$ $\lVert \beta \rVert^2$ $\lVert \beta X \rVert^2 = 1$ $\lVert \beta \rVert^2=t$ $|X\beta|=1$

Dans cette vue les bords de l'intersection de la sphère et sphéroïde sont des points. Dans plusieurs dimensions, ce seront des courbes $\lVert \beta \rVert^2 =t$ $\lVert \beta X \rVert^2 = 1$

(J'imaginais d'abord que ces courbes seraient des ellipses mais elles sont plus compliquées. On pourrait imaginer l'ellipsoïde étant intersecté par la balle comme certains sorte de tronc ellipsoïde mais avec des bords qui ne sont pas de simples ellipses) $\lVert X \beta \rVert^2 = 1$ $\lVert \beta \rVert^2 \leq t$

Concernant la limite $\lambda \to \infty$

Au début (éditions précédentes), j'ai écrit qu'il y aura des limites au-dessus desquelles toutes les solutions sont les mêmes (et elles résident au point ). Mais ce n'est pas le cas $\lambda_{lim}$ $\beta^*_\infty$

Considérez l'optimisation comme un algorithme LARS ou une descente de gradient. Si pour n'importe quel point il y a une direction dans laquelle nous pouvons changer le telle sorte que le terme de pénalité augmente moins que le terme SSR diminue alors vous n'êtes pas dans un minimum . $\beta$ $\beta$ $|\beta|^2$ $|y-X\beta|^2$

Dans la régression de crête normale, vous avez une pente nulle (dans toutes les directions) pour au point . Donc, pour tout fini, la solution ne peut pas être (puisqu'un pas infinitésimal peut être fait pour réduire la somme des résidus au carré sans augmenter la pénalité). $|\beta|^2$ $\beta=0$ $\lambda$ $\beta = 0$
Pour LASSO ce n'est pas pareil puisque: la pénalité est (donc ce n'est pas quadratique avec une pente nulle). De ce fait, LASSO aura une valeur limite au-dessus de laquelle toutes les solutions sont nulles car le terme de pénalité (multiplié par ) augmentera plus que la somme résiduelle des carrés ne diminuera. $\lvert \beta \rvert_1$ $\lambda_{lim}$ $\lambda$
Pour l'arête contrainte, vous obtenez la même chose que la régression d'arête régulière. Si vous modifiez le à partir du alors ce changement sera perpendiculaire à (le est perpendiculaire à la surface de l'ellipse ) et peut être modifié par une étape infinitésimale sans changer le terme de pénalité mais en diminuant la somme des résidus au carré. Ainsi, pour tout fini, le point ne peut pas être la solution. $\beta$ $\beta^*_\infty$ $\beta$ $\beta^*_\infty$ $|X\beta|=1$ $\beta$ $\lambda$ $\beta^*_\infty$

Remarques supplémentaires concernant la limite $\lambda \to \infty$

La limite de régression de crête habituelle pour à l'infini correspond à un point différent dans la régression de crête contrainte. Cette «ancienne» limite correspond au point où est égal à -1. Alors la dérivée de la fonction de Lagrange dans le problème normalisé $\lambda$ $\mu$

$2 (1 + μ) X^{T} X β + 2 X^{T} y + 2 λ β$ $2 (1+\mu) X^{T}X \beta + 2 X^T y + 2 \lambda \beta$ correspond à une solution pour la dérivée de la fonction de Lagrange dans le problème standard

$2 X^{T} X β^{'} + 2 X^{T} y + 2 \frac{λ}{(1 + μ)} β^{'} with β^{'} = (1 + μ) β$ $2 X^{T}X \beta^\prime + 2 X^T y + 2 \frac{\lambda}{(1+\mu)} \beta^\prime \qquad \text{with $\beta^\prime = (1+\mu)\beta$}$

Écrit par StackExchangeStrike

— Sextus Empiricus
source

+1. Merci beaucoup, c'est super utile! J'aurai besoin de temps pour y réfléchir.

— amibe dit Réintégrer Monica

Il convient de souligner que les ellipsoïdes rouges et noirs ont la même forme: c'est pourquoi le point où ils se touchent se trouve sur la ligne reliant leurs centres. Belle preuve graphique du point n ° 1 de ma question.

— amibe dit Réintégrer Monica le

J'essaie de comprendre où se trouve sur votre dessin la bêta qui correspond à l'estimateur de crête avec lambda infini, normalisé pour se situer sur l'ellipse noire. Je pense que c'est quelque part entre et (en utilisant ma notation) - deux points qui sont marqués par des cercles noirs ouverts sur votre dessin. Donc, si nous faisons une régression de crête et normalisons la solution et augmentons lambda de 0 à l'infini, cela nous emmènera probablement sur le même arc, mais pas tout le chemin jusqu'à PC1. Au lieu de cela, en plaçant explicitement la contrainte , les solutions vont jusqu'au PC1.

β_{0}^{*}

$\beta_0^*$

β_{\infty}^{*}

$\beta_\infty^*$

‖ X β ‖ = 1

$\|X\beta\|=1$

— Amoeba dit Reinstate Monica

+5 (j'ai commencé une prime que j'attribuerai avec plaisir à votre réponse). J'ai également posté ma propre réponse car j'ai fait quelques dérivations algébriques et c'était trop pour ajouter à la question. Je ne suis pas convaincu par votre conclusion qu'il y aura un fini, après quoi la solution ne changera plus et sera donnée par PC1. Je ne le vois pas algébriquement, et je ne comprends pas très bien votre argument pour savoir pourquoi il devrait exister. Essayons de le comprendre.

λ_{lim}

$\lambda_\text{lim}$

— Amoeba dit Reinstate Monica

@amoeba, vous aviez raison sur la fin du . J'ai argumenté trop intuitivement et je suis passé rapidement d'une condition particulière pour la régression de crête régulière à la régression de crête contrainte. RR normal a une pente nulle (dans toutes les directions) pour au point . Je pensais que (depuis ) vous n'obtenez pas cela avec la régression contrainte. Cependant, parce que est contraint à l'ellipsoïde vous ne pouvez pas "déplacer" dans toutes les directions.

λ_{lim}

$\lambda_{\lim}$

| β |^{2}

$|\beta|^2$

β = 0

$\beta = 0$

β_{\infty}^{*} \neq 0

$\beta^*_\infty \neq 0$

β

$\beta$

| X β | = 1

$|X\beta| =1$

β

$\beta$

— Sextus Empiricus

Ceci est une contrepartie algébrique à la belle réponse géométrique de @ Martijn.

Tout d'abord, la limite de lorsque est très simple à obtenir: à la limite, le premier terme de la fonction de perte devient négligeable et peut donc être ignoré. Le problème d'optimisation devient qui est le premier composant principal de

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1$

λ \to \infty

$\lambda\to\infty$

lim_{λ \to \infty} {\hat{β}}_{λ}^{*} = {\hat{β}}_{\infty}^{*} = \underset{‖ X β ‖^{2} = 1}{a r g m i n} ‖ β ‖^{2} \sim \underset{‖ β ‖^{2} = 1}{a r g m a x} ‖ X β ‖^{2},

$\lim_{\lambda\to\infty}\hat{\boldsymbol\beta}_\lambda^* = \hat{\boldsymbol\beta}_\infty^* = \operatorname*{arg\,min}_{\|\mathbf X \boldsymbol\beta\|^2=1}\|\boldsymbol\beta\|^2 \sim \operatorname*{arg\,max}_{\| \boldsymbol\beta\|^2=1}\|\mathbf X\boldsymbol\beta\|^2,$

X

$\mathbf X$ (mise à l'échelle appropriée). Cela répond à la question.

Examinons maintenant la solution pour toute valeur de laquelle j'ai fait référence au point # 2 de ma question. En ajoutant à la fonction de perte le multiplicateur de Lagrange et en différenciant, on obtient $\lambda$ $\mu(\|\mathbf X\boldsymbol\beta\|^2-1)$

{\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .

$\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$

Comment se comporte cette solution lorsque passe de zéro à l'infini? $\lambda$

Lorsque , nous obtenons une version à l'échelle de la solution OLS: $\lambda=0$
${\hat{β}}_{0}^{*} \sim {\hat{β}}_{0} .$ $\hat{\boldsymbol\beta}_0^* \sim \hat{\boldsymbol\beta}_0.$
Pour des valeurs positives mais faibles de , la solution est une version à l'échelle d'un estimateur de crête: $\lambda$
${\hat{β}}_{λ}^{*} \sim {\hat{β}}_{λ^{*}} .$ $\hat{\boldsymbol\beta}_\lambda^* \sim \hat{\boldsymbol\beta}_{\lambda^*}.$
Lorsque, la valeur de nécessaire pour satisfaire la contrainte est . Cela signifie que la solution est une version à l'échelle du premier composant PLS (ce qui signifie que de l'estimateur de crête correspondant est ): $\lambda=\|\mathbf X\mathbf X^\top \mathbf y\|$ $(1+\mu)$ $0$ $\lambda^*$ $\infty$
${\hat{β}}_{‖ X X^{⊤} y ‖}^{*} \sim X^{⊤} y .$ $\hat{\boldsymbol\beta}_{\|\mathbf X\mathbf X^\top \mathbf y\|}^* \sim \mathbf X^\top \mathbf y.$
Lorsque devient plus grand que cela, le terme nécessaire devient négatif. Désormais, la solution est une version à l'échelle d'un estimateur de pseudo-arête avec paramètre de régularisation négatif ( arête négative ). En termes de directions, nous avons maintenant dépassé la régression des crêtes avec un lambda infini. $\lambda$ $(1+\mu)$
Lorsque , le terme irait à zéro (ou divergerait à infini) sauf si où est la plus grande valeur singulière de . Cela rendra fini et proportionné au premier axe principal . Nous devons définir pour satisfaire la contrainte. Ainsi, nous obtenons ce $\lambda\to\infty$ $\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}$ $\mu = -\lambda/ s^2_\mathrm{max} + \alpha$ $s_\mathrm{max}$ $\mathbf X=\mathbf{USV}^\top$ $\hat{\boldsymbol\beta}_\lambda^*$ $\mathbf V_1$ $\mu = -\lambda/ s^2_\mathrm{max} + \mathbf U_1^\top \mathbf y -1$
${\hat{β}}_{\infty}^{*} \sim V_{1} .$ $\hat{\boldsymbol\beta}_\infty^* \sim \mathbf V_1.$

Dans l'ensemble, nous constatons que ce problème de minimisation contraint englobe les versions à variance unitaire des OLS, RR, PLS et PCA sur le spectre suivant:

OLS \to RR \to PLS \to negative RR \to PCA

$\boxed{\text{OLS} \to \text{RR} \to \text{PLS} \to \text{negative RR} \to \text{PCA}}$

Cela semble être équivalent à un cadre chimiométrique obscur (?) Appelé "régression du continuum" (voir https://scholar.google.de/scholar?q="continuum+regression " , en particulier Stone & Brooks 1990, Sundberg 1993, Björkström & Sundberg 1999, etc.) qui permet la même unification en maximisant un critère ad hocCela donne évidemment OLS mis à l'échelle lorsque , PLS lorsque , PCA lorsque , et peut être montré pour donner RR mis à l'échelle pour

T = {corr}^{2} (y, X β) \cdot {Var}^{γ} (X β) s.t. ‖ β ‖ = 1.

$\mathcal T = \operatorname{corr}^2(\mathbf y, \mathbf X \boldsymbol\beta)\cdot \operatorname{Var}^\gamma(\mathbf X\boldsymbol\beta) \;\;\text{s.t.}\;\;\|\boldsymbol\beta\|=1.$

γ = 0

$\gamma=0$

γ = 1

$\gamma=1$

γ \to \infty

$\gamma\to\infty$

0 < γ < 1

$0<\gamma<1$

1 < γ < \infty

$1<\gamma<\infty$ , voir Sundberg 1993.

Malgré avoir un peu d'expérience avec RR / PLS / PCA / etc, je dois admettre que je n'ai jamais entendu parler de "régression du continuum" auparavant. Je dois également dire que je n'aime pas ce terme.

Un schéma que j'ai fait sur la base de celui de @ Martijn:

Mise à jour: Figure mise à jour avec le chemin de crête négatif, merci à @Martijn pour avoir suggéré à quoi cela devrait ressembler. Voir ma réponse dans Comprendre la régression de crête négative pour plus de détails.

— amibe dit réintégrer Monica
source

La "régression en continu" semble faire partie d'une catégorie étonnamment large de techniques visant à unifier le PLS et l'ACP dans un cadre commun. D'ailleurs, je n'en avais jamais entendu parler avant de faire des recherches sur la crête négative (je fournis un lien vers l'article de Bjorkstron et Sundberg, 1999, dans le premier commentaire de la question sur la crête négative à laquelle vous faites un lien), bien qu'il semble être assez largement discuté dans la littérature chimiométrique. Il doit y avoir une raison historique pour laquelle il s'est développé apparemment indépendamment des autres domaines de la statistique. (1/3)

— Ryan Simmons

Un article que vous voudrez peut-être lire est de Jong et al. (2001) . Leur formulation de "PLS canonique" semble à première vue être équivalente à la vôtre, bien que j'avoue que je n'ai pas encore comparé rigoureusement les calculs (ils fournissent également un examen de plusieurs autres généralisations PLS-PCA dans la même veine). Mais il peut être utile de voir comment ils ont expliqué le problème. (2/3)

— Ryan Simmons

Dans le cas où ce lien meurt, la citation complète est: Sijmen de Jong, Barry M. Wise, N. Lawrence Ricker. «Moindres carrés partiels canoniques et régression de la puissance du continuum». Journal of Chemometrics, 2001; 15: 85-100. doi.org/10.1002/… (3/3)

— Ryan Simmons

ah, ok, alors et vont à infinity mais leur rapport reste . Dans tous les cas, le chemin de régression de crête négative doit être dans le secteur (négatif) entre les vecteurs PLS et PCA de telle sorte que leur projection sur l'ellipseest entre les points PLS et PCA. (la norme allant à l'infini prend tout son sens lorsque le va également à l'infini, de sorte que le chemin continue vers le bas à droite, initialement tangent à, négatif, PLS et finalement à PCA)

λ^{*}

$\lambda^*$

1 + μ^{*}

$1+\mu^*$

\pm

$\pm$

s_{m a x}^{2}

$s_{max}^2$

| X β = 1 |

$|X\beta=1|$

μ

$\mu$

— Sextus Empiricus

Cela ajouterait à la visualisation. J'imagine les trois points actuels du chemin RR (où le cercle et l'ellipsoïde se touchent) continuant vers le bas à droite et finalement, à l'infini, le cercle et l'ellipsoïde devrait 'toucher' en direction de l' endroit où le cercle touche l'ellipsoïde

| β |^{2} = t_{\infty}

$|\beta|^2=t_{\infty}$

| X (β - \hat{β}) |^{2} = R S S

$|X (\beta - \hat\beta)|^2 =RSS$

| β |^{2} = t_{p c a}

$|\beta|^2=t_{pca}$

| X β |^{2} = 1

$|X \beta|^2 =1$

— Sextus Empiricus

La limite de l'estimateur de régression de crête de «variance unitaire» lorsque

Une interprétation géométrique

Comparaison avec la vue de régression de crête standard

Concernant la limiteλ→∞λ→∞\lambda \to \infty

Remarques supplémentaires concernant la limiteλ→∞λ→∞\lambda \to \infty

Concernant la limite $\lambda \to \infty$

Remarques supplémentaires concernant la limite $\lambda \to \infty$