La preuve de formules équivalentes de régression de crête

J'ai lu les livres les plus populaires en apprentissage statistique

1- Les éléments de l'apprentissage statistique.

2- Une introduction à l'apprentissage statistique .

Les deux mentionnent que la régression de crête a deux formules qui sont équivalentes. Existe-t-il une preuve mathématique compréhensible de ce résultat?

Je suis également passé par Cross Validated , mais je n'y trouve pas de preuve définitive.

De plus, LASSO bénéficiera-t-il du même type de preuve?

La régression de crête classique ( régularisation de Tikhonov ) est donnée par:

L'affirmation ci-dessus est que le problème suivant est équivalent:

Définissons x comme la solution optimale du premier problème et ~ x comme la solution optimale du second problème.$\hat{x}$$\tilde{x}$

La revendication d'équivalence signifie que $\forall t, \: \exists \lambda \geq 0 : \hat{x} = \tilde{x}$ .
À savoir, vous pouvez toujours avoir une paire de$t$ et$\lambda \geq 0$ , la solution du problème est la même.

Comment pourrions-nous trouver une paire?
Eh bien, en résolvant les problèmes et en examinant les propriétés de la solution.
Les deux problèmes sont convexes et lisses, ce qui devrait simplifier les choses.

La solution du premier problème est donnée au point où le gradient disparaît, ce qui signifie:

Les conditions KKT du deuxième problème stipulent:

et

La dernière équation suggère que $\mu = 0$ ou ${\left\| \tilde{x} \right\|}_{2}^{2} = t$ .

Faites attention à ce que les 2 équations de base soient équivalentes.
A savoir si x = ~ x et μ = λ les deux équations tiennent. $\hat{x} = \tilde{x}$$\mu = \lambda$

Cela signifie donc que dans le cas où ${\left\| y \right\|}_{2}^{2} \leq t$ il faut définir $\mu = 0$ ce qui signifie que pour $t$ suffisamment grand pour que les deux soient équivalents, il faut définir $\lambda = 0$ .

Dans l'autre cas, on devrait trouver $\mu$ où:

C'est essentiellement lorsque ${\left\| \tilde{x} \right\|}_{2}^{2} = t$

Une fois que vous avez trouvé que $\mu$ les solutions entreront en collision.

Concernant le cas ${L}_{1}$ (LASSO), eh bien, ça marche avec la même idée.
La seule différence est que nous n'avons pas fermé pour la solution, d'où la dérivation de la connexion est plus difficile.

Jetez un œil à ma réponse à StackExchange Cross Validated Q291962 et StackExchange Signal Processing Q21730 - Signification de $\lambda$ dans Basis Pursuit .

Remarque
Que se passe-t-il réellement?
Dans les deux problèmes, $x$ essaie d'être aussi proche que possible de $y$ .
Dans le premier cas, $x = y$ disparaîtra le premier terme (la distance ${L}_{2}$ ) et dans le second cas il fera disparaître la fonction objectif.
La différence est que dans le premier cas, il faut équilibrer la norme ${L}_{2}$ de $x$ . Lorsque $\lambda$ augmente, l'équilibre signifie que vous devez réduire $x$ .
Dans le second cas il y a un mur, vous rapprochez $x$ plus en plus de $y$jusqu'à ce que vous frappiez le mur qui est la contrainte sur sa norme (By $t$ ).
Si le mur est suffisamment éloigné (valeur élevée de $t$ ) et assez dépend de la norme de $y$ alors i n'a pas de sens, tout comme $\lambda$ n'est pertinent que de sa valeur multipliée par la norme de $y$ commence à avoir un sens.
La connexion exacte est par le Lagrangien indiqué ci-dessus.

Ressources

J'ai trouvé cet article aujourd'hui (03/04/2019):

• Dureté d'approximation pour une classe de problèmes d'optimisation clairsemés .

Une approche moins rigoureuse mathématiquement, mais peut-être plus intuitive, pour comprendre ce qui se passe consiste à commencer par la version de contrainte (équation 3.42 dans la question) et à la résoudre en utilisant les méthodes du "Lagrange Multiplier" ( https: //en.wikipedia .org / wiki / Lagrange_multiplier ou votre texte de calcul multivariable préféré). N'oubliez pas que dans le calcul, est le vecteur des variables, mais dans notre cas, x est constant et β est le vecteur variable. Une fois que vous avez appliqué la technique du multiplicateur de Lagrange, vous vous retrouvez avec la première équation (3,41) (après avoir jeté l'extra - λ t qui est constant par rapport à la minimisation et peut être ignoré).$x$$x$$\beta$$-\lambda t$

Cela montre également que cela fonctionne pour le lasso et d'autres contraintes.

Cela vaut peut-être la peine d'être lu sur la dualité lagrangienne et une relation plus large (parfois équivalente) entre:

• optimisation soumise à des contraintes dures (c'est-à-dire inviolables)
• optimisation avec pénalités pour violation des contraintes.

Introduction rapide à la dualité faible et à la dualité forte

Supposons que nous ayons une fonction de deux variables. Pour tout x et y , nous avons:$f(x,y)$$\hat{x}$$\hat{y}$

Depuis détient pour tout x et y détient également que:$\hat{x}$$\hat{y}$

This is known as weak duality. In certain circumstances, you have also have strong duality (also known as the saddle point property):

When strong duality holds, solving the dual problem also solves the primal problem. They're in a sense the same problem!

Lagrangian for constrained Ridge Regression

Let me define the function $\mathcal{L}$ as:

The min-max interpretation of the Lagrangian

The Ridge regression problem subject to hard constraints is:

You pick $\mathbf{b}$ to minimize the objective, cognizant that after $\mathbf{b}$ is picked, your opponent will set $\lambda$ to infinity if you chose $\mathbf{b}$ such that $\sum_{j=1}^p b_j^2 > t$.

If strong duality holds (which it does here because Slater's condition is satisfied for $t>0$), you then achieve the same result by reversing the order:

Here, your opponent chooses $\lambda$ first! You then choose $\mathbf{b}$ to minimize the objective, already knowing their choice of $\lambda$. The $\min_\mathbf{b} \mathcal{L}(\mathbf{b}, \lambda)$ part (taken $\lambda$ as given) is equivalent to the 2nd form of your Ridge Regression problem.

As you can see, this isn't a result particular to Ridge regression. It is a broader concept.

References

(I started this post following an exposition I read from Rockafellar.)

Rockafellar, R.T., Convex Analysis

You might also examine lectures 7 and lecture 8 from Prof. Stephen Boyd's course on convex optimization.

They are not equivalent.

For a constrained minimization problem

we solve by minimize over $\mathbf b$ the corresponding Lagrangean

Here, $t$ is a bound given exogenously, $\lambda \geq 0$ is a Karush-Kuhn-Tucker non-negative multiplier, and both the beta vector and $\lambda$ are to be determined optimally through the minimization procedure given $t$.

Comparing $(2)$ and eq $(3.41)$ in the OP's post, it appears that the Ridge estimator can be obtained as the solution to

Since in $(3)$ the function to be minimized appears to be the Lagrangean of the constrained minimization problem plus a term that does not involve $\mathbf b$, it would appear that indeed the two approaches are equivalent...

But this is not correct because in the Ridge regression we minimize over $\mathbf b$ given $\lambda >0$. But, in the lens of the constrained minimization problem, assuming $\lambda >0$ imposes the condition that the constraint is binding, i.e that

The general constrained minimization problem allows for $\lambda = 0$ also, and essentially it is a formulation that includes as special cases the basic least-squares estimator ($\lambda ^*=0$) and the Ridge estimator ($\lambda^* >0$).

So the two formulation are not equivalent. Nevertheless, Matthew Gunn's post shows in another and very intuitive way how the two are very closely connected. But duality is not equivalence.