Formulation de régression de crête sous contrainte versus pénalisée: comment sont-elles équivalentes?

Je semble mal comprendre une affirmation sur les méthodes de régression linéaire que j'ai vu à divers endroits. Les paramètres du problème sont:

Contribution:

$N$ échantillons de données de quantités constituées chacune d'une quantité de "réponse" et de quantités de "prédicteur"$p+1$$y_i$$p$$x_{ij}$

Le résultat souhaité est un "bon ajustement linéaire" qui prédit la réponse sur la base des prédicteurs où un bon ajustement présente de petites différences entre la prédiction et la réponse observée (entre autres critères).

Sortie: coefficients où est un "bon ajustement" pour prédire la quantité de réponse à partir des quantités de prédicteur. $p+1$$\beta_j$$\beta_0 + \sum_{j=1}^p x_{ij} * \beta_j$

Je suis confus quant à l'approche de "régression de crête" à ce problème. Dans «The Elements of Statistical Learning» de Hastie, Tibshirani et Friedman page 63, la régression des crêtes est formulée de deux manières.

D'abord comme problème d' optimisation contraint :

$${argmin}_\beta \sum_{i=1}^N { ( y_i - (\beta_0 + \sum_{j=1}^p (x_{ij} * \beta_j)) )^2 }$$ soumis à la contrainte pour un paramètre positif t. $$\sum_{j=1}^p \beta_i^2 \leq t$$

Le deuxième est le problème d'optimisation pénalisé : pour un paramètre positif .

$${argmin}_\beta ( \lambda \sum_{j=1}^p { \beta_j^2 } ) + \sum_{i=1}^N { ( y_i - (\beta_0 + \sum_{j=1}^p (x_{ij} * \beta_j)) )^2 }$$ $\lambda$

Le texte dit que ces formulations sont équivalentes et qu'il existe une "correspondance un à un entre les paramètres et ". J'ai vu cette affirmation (et d'autres similaires) à plusieurs endroits en plus de ce livre. Je pense que je manque quelque chose parce que je ne vois pas comment les formulations sont équivalentes si je comprends bien.$\lambda$$t$

Considérons le cas où et avec , et , . En choisissant le paramètre la formulation contrainte devient:$N=2$$p=1$$y_1=0$$x_{1,1}=0$$y_2=1$$x_{1,2}=1$$t=2$

$${argmin}_{\beta_0,\beta_1} ( \beta_0^2 + (1 - (\beta_0 + \beta_1))^2 )$$

étendu à

$${argmin}_{\beta_0,\beta_1} ( 2 \beta_{0}^{2} + 2 \beta_{0} \beta_{1} - 2 \beta_{0} + \beta_{1}^{2} - 2 \beta_{1} + 1 )$$

Pour résoudre ce problème, trouvez la solution où les dérivées partielles par rapport à et sont nulles: avec la solution et . Notez que comme requis.$\beta_0$$\beta_1$

$$4 \beta_{0} + 2 \beta_{1} - 2 = 0$$ $$2 \beta_{0} + 2 \beta_{1} - 2 = 0$$ $\beta_0 = 0$$\beta_1 = 1$$\beta_0^2 + \beta_1^2 \le t$

Quel est le lien entre cette dérivation et l'autre formulation? Selon l'explication, il y a une certaine valeur de correspondant uniquement à où si nous optimisons la formulation pénalisée du problème, nous les mêmes et . Dans ce cas, la forme pénalisée devient étendu à Pour résoudre ce problème, trouvez la solution où les dérivées partielles avec par rapport à$\lambda$$t$$\beta_0$$\beta_1$

$${argmin}_{\beta_0,\beta_1} ( \lambda (\beta_0^2 + \beta_1^2) + \beta_0^2 + (1 - (\beta_0 + \beta_1))^2 )$$ $${argmin}_{\beta_0,\beta_1} ( \beta_{0}^{2} \lambda + 2 \beta_{0}^{2} + 2 \beta_{0} \beta_{1} - 2 \beta_{0} + \beta_{1}^{2} \lambda + \beta_{1}^{2} - 2 \beta_{1} + 1 )$$ $\beta_0$ et sont nuls: pour ces équations j'obtiens la solution Si c'est correct, la seule façon d'obtenir est de définir . Cependant, ce serait le même nous aurions besoin pour , alors que veulent-ils dire par "correspondance un à un"?$\beta_1$ $$2 \beta_{0} \lambda + 4 \beta_{0} + 2 \beta_{1} - 2 = 0$$ $$2 \beta_{0} + 2 \beta_{1} \lambda + 2 \beta_{1} - 2 = 0$$ $$\beta_0 = \lambda/(\lambda^2 + 3\lambda + 1)$$ $$\beta_1 = (\lambda + 1)/((\lambda + 1)(\lambda + 2) - 1)$$ $\beta_0 = 0$$\lambda = 0$$\lambda$$t = 4$

En résumé, je suis totalement confus par les deux présentations et je ne comprends pas comment elles se correspondent. Je ne comprends pas comment vous pouvez optimiser un formulaire et obtenir la même solution pour l'autre formulaire ou comment est lié à . Ce n'est qu'un exemple de ce type de correspondance - il y en a d'autres pour d'autres approches comme le lasso - et je ne comprends aucune d'entre elles.$\lambda$$t$

Quelqu'un, s'il vous plaît, aidez-moi.

La confusion vient ici d'essayer de travailler dans une plage de valeurs ou où il n'y a aucune contrainte sur la régression.$t$$\lambda$

Dans votre exemple, à l'ajustement parfait de la droite de régression, la somme des carrés des coefficients de régression est 1. Par conséquent, la valeur de (ou toute valeur de égale ou supérieure à 1) n'impose aucune contrainte à la régression. Dans l'espace des valeurs de , toute la régression non contrainte est représentée par . Il n'y a pas de correspondance biunivoque entre et dans la régression non contrainte ; toutes les valeurs de de 1 ou plus dans ce cas correspondent à . C'était la région sur laquelle vous enquêtiez.$t=2$$t$$\lambda$$\lambda = 0$$t$$\lambda$ $t$$\lambda=0$

Seule une valeur de inférieure à 1 imposera une contrainte sur la régression, correspondant à des valeurs positives de . Comme le montre la réponse acceptée sur cette page , la correspondance biunivoque entre et est valable " lorsque la contrainte est contraignante ", dans votre exemple pour les valeurs de inférieures à 1.$t$$\lambda$$t$$\lambda$$t$

La régression de crête classique ( régularisation de Tikhonov ) est donnée par:

$$\arg \min_{x} \frac{1}{2} {\left\| x - y \right\|}_{2}^{2} + \lambda {\left\| x \right\|}_{2}^{2}$$

L'affirmation ci-dessus est que le problème suivant est équivalent:

$$\begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left\| x - y \right\|}_{2}^{2} \\ \text{subject to} \quad & {\left\| x \right\|}_{2}^{2} \leq t \end{align*}$$

Définissons comme la solution optimale du premier problème et comme la solution optimale du second problème.$\hat{x}$$\tilde{x}$

La revendication d'équivalence signifie que . À savoir, vous pouvez toujours avoir une paire de et , la solution du problème est la même.$\forall t, \: \exists \lambda \geq 0 : \hat{x} = \tilde{x}$
$t$$\lambda \geq 0$

Comment pourrions-nous trouver une paire?
Eh bien, en résolvant les problèmes et en examinant les propriétés de la solution.
Les deux problèmes sont convexes et fluides, ce qui devrait simplifier les choses.

La solution du premier problème est donnée au point où le gradient disparaît, ce qui signifie:

$$\hat{x} - y + 2 \lambda \hat{x} = 0$$

Les conditions KKT du deuxième problème stipulent:

$$\tilde{x} - y + 2 \mu \tilde{x} = 0$$

et

$$\mu \left( {\left\| \tilde{x} \right\|}_{2}^{2} - t \right) = 0$$

La dernière équation suggère que ou .$\mu = 0$${\left\| \tilde{x} \right\|}_{2}^{2} = t$

Faites attention à ce que les 2 équations de base soient équivalentes.
À savoir si et deux équations sont valables. $\hat{x} = \tilde{x}$$\mu = \lambda$

Cela signifie donc que dans le cas on doit définir ce qui signifie que pour suffisamment grand pour que les deux soient équivalents, on doit définir .${\left\| y \right\|}_{2}^{2} \leq t$$\mu = 0$$t$$\lambda = 0$

Dans l'autre cas, on devrait trouver où:$\mu$

$${y}^{t} \left( I + 2 \mu I \right)^{-1} \left( I + 2 \mu I \right)^{-1} y = t$$

C'est essentiellement quand${\left\| \tilde{x} \right\|}_{2}^{2} = t$

Une fois que vous avez trouvé que les solutions entreront en collision.$\mu$

En ce qui concerne le cas , eh bien, cela fonctionne avec la même idée. La seule différence est que nous n'avons pas fermé pour une solution, d'où la dérivation de la connexion est plus difficile.${L}_{1}$

Jetez un œil à ma réponse sur StackExchange Cross Validated Q291962 et StackExchange Signal Processing Q21730 - Signification de dans Basis Pursuit$\lambda$ .