Pénalité de bridge vs régularisation d'Elastic Net

Certaines fonctions de pénalité et approximations sont bien étudiées, comme le LASSO ( $L_1$ ) et le Ridge ( $L_2$ ) et comment elles se comparent en régression.

$\sum \|\beta_{j}\|^{\gamma}$ $\gamma = 1$ $\gamma = 2$

Wenjiang [ 1 ] a comparé la pénalité Bridge quand $\gamma \geq 1$ au LASSO, mais je n'ai pas trouvé de comparaison avec la régularisation Elastic Net, une combinaison des pénalités LASSO et Ridge, donnée comme $\sum \lambda_{2} \|\beta\|^{2}+\lambda_{1}\|\beta\|_{1}$ .

C'est une question intéressante car le filet élastique et ce pont spécifique ont des formes de contraintes similaires. Comparez ces cercles unitaires en utilisant les différentes métriques ( $p$ est la puissance de la distance de Minkowski ):

$p = 1$ correspond au LASSO, $p = 2$ à la crête et $p = 1.4$ à un pont possible. Le filet élastique a été généré avec une pondération égale sur les pénalités $L_1$ et $L_2$ . Ces chiffres sont utiles pour identifier la rareté, par exemple (ce qui manque manifestement à Bridge alors qu'Elastic Net le préserve de LASSO).

Alors, comment le pont avec $1<\gamma <2$ compare-t-il à Elastic Net en ce qui concerne la régularisation (autre que la rareté)? J'ai un intérêt particulier pour l'apprentissage supervisé, donc peut-être qu'une discussion sur la sélection / pondération des fonctionnalités est pertinente. L'argumentation géométrique est également la bienvenue.

Peut-être, plus important encore, le filet élastique est-il toujours plus souhaitable dans ce cas?

_{[1] Fu, WJ (1998). Régressions pénalisées: le pont contre le lasso. Journal of computational and graphical statistics, 7 (3), 397-416.}

EDIT: Il y a cette question Comment décider de la sanction à utiliser? toute directive générale ou règle de base du manuel qui mentionne superficiellement LASSO, Ridge, Bridge et Elastic Net, mais il n'y a aucune tentative de les comparer.

— Pyromane
source

Seulement lié tangentiellement, mais si la pénalité de norme

est l'estimation MAP d'une régression bayésienne avec des a priori indépendants de Laplace sur les coefficients, et que le

est le même pour les a priori gaussiens, je me demande si la pénalité de pont est équivalente à un Subbotin antérieur. .. stats.stackexchange.com/questions/201038/…

L_{1}

$L_1$

L_{2}

$L_2$

— Sycorax dit de réintégrer Monica le

@RichardHardy Il n'est pas nécessaire d'écrire du lasso dans toutes les capitales, voir mon commentaire ici .

— amibe dit Réintégrer Monica

Gardez à l'esprit que la régression de Bridge permet

ce qui donne une régression non convexe. Celles-ci sont particulièrement utiles lorsque vous essayez de sélectionner des groupes de covariables, en particulier à partir de données rares. Ou en général, vous pourriez avoir des groupes de covariables prédéfinis, que vous régulariseriez

sorte qu'aucun groupe particulier ne soit grand, puis que

régulariserait les coefficients d'un seul groupe pour atteindre la rareté. C'est-à-dire si vous écrivez

, où

γ < 1

$\gamma<1$

L^{2}

$L^2$

L^{1}

$L^1$

β = (a_{1}, \dots, a_{k})

$\beta=(a_1,\cdots,a_k)$

alorsvous pourriez faire

a_{i} = (β_{i_{1}}, β_{i_{2},}, \dots, β_{i_{r}})

$a_i=(\beta_{i_1},\beta_{i_2,},\cdots,\beta_{i_r})$

λ_{1} ‖ β ‖^{γ_{i}} + λ_{2} \sum_{i} ‖ a_{i} ‖^{ν_{i}}

$\lambda_1 \|\beta\|^{\gamma_i}+\lambda_2\sum_i \|a_i\|^{\nu_i}$

— Alex R.

@AlexR. Je devrais en fait préciser que je me réfère à

. Je ne savais pas que

s'appelait aussi Bridge.

γ \geq 1

$\gamma \geq 1$

γ < 1

$\gamma < 1$

— Firebug

@amoeba, OK, très bien. Normalement, je ne modifie pas si l'utilisation des majuscules est cohérente tout au long du message, mais cette fois-ci, il y avait à la fois "LASSO" et "lasso", alors j'ai simplement choisi "LASSO", qui était la première forme du message. Je pense toujours à l'acronyme, c'est pourquoi j'ai utilisé toutes les capitales; mais comme vous le dites, un simple "lasso" peut être mieux.

— Richard Hardy

La différence entre la régression du pont et le filet élastique est une question fascinante, étant donné leurs pénalités similaires. Voici une approche possible. Supposons que nous résolvions le problème de régression du pont. On peut alors se demander en quoi la solution nette élastique différerait. L'examen des gradients des deux fonctions de perte peut nous en dire quelque chose.

Régression du pont

Supposons que est une matrice contenant des valeurs de la variable indépendante ( points x dimensions), est un vecteur contenant des valeurs de la variable dépendante et est le vecteur de poids. $X$ $n$ $d$ $y$ $w$

La fonction de perte pénalise la norme des poids, de magnitude : $\ell_q$ $\lambda_b$

L_{b} (w) = ‖ y - X w ‖_{2}^{2} + λ_{b} ‖ w ‖_{q}^{q}

$L_b(w) = \| y - Xw\|_2^2 + \lambda_b \|w\|_q^q$

Le gradient de la fonction de perte est:

\nabla_{w} L_{b} (w) = - 2 X^{T} (y - X w) + λ_{b} q | w |^{\circ (q - 1)} sgn (w)

$\nabla_w L_b(w) = -2 X^T (y - Xw) + \lambda_b q |w|^{\circ(q-1)} \text{sgn}(w)$

désigne la puissance de Hadamard (c'est-à-dire par élément), qui donne un vecteur dont le ème élément est $v^{\circ c}$ $i$ . est la fonction de signe (appliquée à chaque élément de). Le gradient peut être indéfini à zéro pour certaines valeurs de. $v_i^c$ $\text{sgn}(w)$ $w$ $q$

Filet élastique

La fonction de perte est:

L_{e} (w) = ‖ y - X w ‖_{2}^{2} + λ_{1} ‖ w ‖_{1} + λ_{2} ‖ w ‖_{2}^{2}

$L_e(w) = \|y - Xw\|_2^2 + \lambda_1 \|w\|_1 + \lambda_2 \|w\|_2^2$

Cela pénalise le $\ell_1$ norme des poids de magnitude et la norme de magnitude . Le papier net élastique appelle minimisation de cette fonction de perte le «filet élastique naïf» car il réduit doublement les poids. Ils décrivent une procédure améliorée où les poids sont ensuite redimensionnés pour compenser le double retrait, mais je vais juste analyser la version naïve. C'est une mise en garde à garder à l'esprit. $\lambda_1$ $\ell_2$ $\lambda_2$

Le gradient de la fonction de perte est:

\nabla_{w} L_{e} (w) = - 2 X^{T} (y - X w) + λ_{1} sgn (w) + 2 λ_{2} w

$\nabla_w L_e(w) = -2 X^T (y - Xw) + \lambda_1 \text{sgn}(w) + 2 \lambda_2 w$

Le gradient n'est pas défini à zéro lorsque car la valeur absolue de la pénalité n'y est pas différenciable. $\lambda_1 > 0$ $\ell_1$

Approche

Supposons que nous sélectionnons les poids qui résolvent le problème de régression du pont. Cela signifie que le gradient de régression du pont est nul à ce stade: $w^*$

\nabla_{w} L_{b} (w^{*}) = - 2 X^{T} (y - X w^{*}) + λ_{b} q | w^{*} |^{\circ (q - 1)} sgn (w^{*}) = \vec{0}

$\nabla_w L_b(w^*) = -2 X^T (y - Xw^*) + \lambda_b q |w^*|^{\circ (q-1)} \text{sgn}(w^*) = \vec{0}$

Par conséquent:

2 X^{T} (y - X w^{*}) = λ_{b} q | w^{*} |^{\circ (q - 1)} sgn (w^{*})

$2 X^T (y - Xw^*) = \lambda_b q |w^*|^{\circ (q-1)} \text{sgn}(w^*)$

Nous pouvons le remplacer par le gradient net élastique, pour obtenir une expression du gradient net élastique à . Heureusement, cela ne dépend plus directement des données: $w^*$

\nabla_{w} L_{e} (w^{*}) = λ_{1} sgn (w^{*}) + 2 λ_{2} w^{*} - λ_{b} q | w^{*} |^{\circ (q - 1)} sgn (w^{*})

$\nabla_w L_e(w^*) = \lambda_1 \text{sgn}(w^*) + 2 \lambda_2 w^* -\lambda_b q |w^*|^{\circ (q-1)} \text{sgn}(w^*)$

En regardant le gradient net élastique à nous dit: étant donné que la régression du pont a convergé vers les poids , comment le filet élastique voudrait-il changer ces poids? $w^*$ $w^*$

Il nous donne la direction locale et l'amplitude du changement souhaité, car le gradient pointe dans le sens de la montée la plus abrupte et la fonction de perte diminue lorsque nous nous déplaçons dans la direction opposée au gradient. Le gradient peut ne pas pointer directement vers la solution nette élastique. Mais, comme la fonction de perte nette élastique est convexe, la direction / amplitude locale donne quelques informations sur la façon dont la solution nette élastique différera de la solution de régression de pont.

Cas 1: Contrôle de santé mentale

( $\lambda_b = 0, \lambda_1 = 0, \lambda_2 = 1$ ). Dans ce cas, la régression de pont est équivalente aux moindres carrés ordinaires (OLS), car la pénalité est nulle. Le filet élastique est une régression de crête équivalente, car seule la norme est pénalisée. Les graphiques suivants montrent différentes solutions de régression de pont et comment le gradient net élastique se comporte pour chacune. $\ell_2$

Graphique de gauche: gradient net élastique par rapport au poids de régression du pont le long de chaque dimension

L'axe des x représente une composante d'un ensemble de poids $w^*$ sélectionnés par régression en pont. L'axe des y représente la composante correspondante du gradient net élastique, évaluée à . Notez que les poids sont multidimensionnels, mais nous examinons simplement les poids / gradient le long d'une seule dimension. $w^*$

Graphique de droite: variations nettes élastiques des poids de régression des ponts (2d)

Chaque point représente un ensemble de poids 2d $w^*$ sélectionnés par régression en pont. Pour chaque choix de , un vecteur est tracé pointant dans la direction opposée au gradient net élastique, avec une amplitude proportionnelle à celle du gradient. C'est-à-dire que les vecteurs tracés montrent comment le filet élastique veut changer la solution de régression du pont. $w^*$

Ces graphiques montrent que, par rapport à la régression de pont (OLS dans ce cas), le filet élastique (régression de crête dans ce cas) veut réduire les poids vers zéro. La quantité de retrait souhaitée augmente avec l'ampleur des poids. Si les poids sont nuls, les solutions sont les mêmes. L'interprétation est que nous voulons nous déplacer dans la direction opposée au gradient pour réduire la fonction de perte. Par exemple, supposons que la régression du pont ait convergé vers une valeur positive pour l'un des poids. Le gradient net élastique est positif à ce stade, donc le filet élastique veut diminuer ce poids. Si vous utilisez la descente de gradient, nous prendrions des étapes proportionnelles en taille au gradient (bien sûr, nous ne pouvons pas techniquement utiliser la descente de gradient pour résoudre le filet élastique en raison de la non-différentiabilité à zéro,

Cas 2: Pont assorti et filet élastique

$q = 1.4, \lambda_b = 1, \lambda_1 = 0.629, \lambda_2 = 0.355$ ). J'ai choisi les paramètres de pénalité de pont pour correspondre à l'exemple de la question. J'ai choisi les paramètres de filet élastique pour donner la pénalité de filet élastique la mieux adaptée. Ici, les moyennes les mieux adaptées, étant donné une distribution particulière des poids, nous trouvons les paramètres de pénalité nette élastique qui minimisent la différence quadratique attendue entre le pont et les pénalités nettes élastiques:

min_{λ_{1}, λ_{2}} E [(λ_{1} ‖ w ‖_{1} + λ_{2} ‖ w ‖_{2}^{2} - λ_{b} ‖ w ‖_{q}^{q})^{2}]

$\min_{\lambda_1, \lambda_2} \enspace E \left [ ( \lambda_1 \|w\|_1 + \lambda_2 \|w\|_2^2 - \lambda_b \|w\|_q^q )^2 \right ]$

$[-2, 2]$

Surface de pénalité

$q=1.4, \lambda_b=100$ $\lambda_1 = 0.629, \lambda_2 = 0.355$

Comportement dégradé

Nous pouvons voir ce qui suit:

$w^*_j$ $j$ .
$|w^*_j|< 0.25$ , le filet élastique veut réduire le poids vers zéro.
$|w^*_j| \approx 0.25$ , la régression du pont et les solutions de filet élastique sont les mêmes. Mais, le filet élastique veut s'éloigner si le poids diffère même légèrement.
$0.25 < |w^*_j| < 1.31$
$|w^*_j| \approx 1.31$
$|w^*_j| > 1.31$

$q$ $\lambda_b$ $\lambda_1, \lambda_2$ . Les points où les solutions de pont et de filet élastique coïncident changent légèrement, mais le comportement des gradients est par ailleurs similaire.

Cas 3: Pont dépareillé et filet élastique

$(q=1.8, \lambda_b=1, \lambda_1=0.765, \lambda_2 = 0.225)$ $\lambda_1, \lambda_2$ $\ell_1$ $\ell_2$

Par rapport à la régression de pont, le filet élastique veut réduire les petits poids vers zéro et augmenter les poids plus importants. Il y a un seul ensemble de poids dans chaque quadrant où la régression du pont et les solutions de filet élastique coïncident, mais le filet élastique veut s'éloigner de ce point si les poids diffèrent même légèrement.

$(q=1.2, \lambda_b=1, \lambda_1=173, \lambda_2 = 0.816)$ $\ell_1$ $q > 1$ $\lambda_1, \lambda_2$ $\ell_2$ $\ell_1$ peine).

Par rapport à la régression de pont, le filet élastique veut augmenter de petits poids et rétrécir des poids plus grands. Il y a un point dans chaque quadrant où la régression du pont et les solutions de filet élastique coïncident, et le filet élastique veut se déplacer vers ces poids à partir de points voisins.

— user20160
source

(+1) Excellente réponse, merci pour l'effort! Pourriez-vous aborder une dernière chose: "le filet élastique est-il toujours plus souhaitable?". Pas besoin d'être long;

— Firebug

La régression de pont et le filet élastique sont équivalents à l'estimation MAP avec différents types de priors sur les poids. De ce point de vue, il semble que le meilleur choix serait le prieur qui correspond le mieux au processus de génération de données, et qu'aucune des deux méthodes ne pourrait être meilleure dans tous les cas.

— user20160

+6, très belle réponse. Concernant votre commentaire ci-dessus: quels rendements précédents relient la régression? Je sais que le prior gaussien correspond à la crête et à Laplace avant le lasso. Peut-on en quelque sorte combiner ces priors pour obtenir quelque chose qui correspond à un filet élastique?

— Amoeba dit Reinstate Monica

@amoeba La question ne m'était pas adressée, je sais, mais comme l'a dit GeneralAbrial dans la question, bridge correspond probablement à un Subbotin avant. Le filet élastique, comme prévu, se situe entre les prieurs gaussiens et laplaciens. Voir Li, Q. et Lin, N. (2010). Le filet élastique bayésien. Analyse bayésienne, 5 (1), 151-170. et Zou, H. et Hastie, T. (2005). Régularisation et sélection variable via le filet élastique. Journal de la Royal Statistical Society: série B (méthodologie statistique), 67 (2), 301-320. pour une brève comparaison entre le filet élastique et la régression du pont.

— Firebug

@amoeba merci pour la générosité et attirer l'attention sur ce post, de même pour l'autre post sur PCA vs réduction de dimensionnalité non linéaire. Il est admirable que vous utilisiez votre représentant pour promouvoir les questions / réponses des autres, et cela me fait plaisir si ce message a au moins une petite valeur pour les gens. D'autres, merci aussi pour les aimables paroles.

— user20160