Si la multi-colinéarité est élevée, les coefficients LASSO diminueraient-ils à 0?

Étant donné , quel est le comportement théorique des coefficients LASSO et pourquoi? $x_2 = 2 x_1$

Est-ce que l'un des ou se à ou les deux? $x_1$ $x_2$ $0$

require(glmnet)
x1 = runif(100, 1, 2)
x2 = 2*x1
x_train = cbind(x1, x2)
y = 100*x1 + 100 + runif(1)
ridge.mod = cv.glmnet(x_train, y, alpha = 1)
coef(ridge.mod)

#3 x 1 sparse Matrix of class "dgCMatrix"
#                       1
#(Intercept) 1.057426e+02
#x1          9.680073e+01
#x2          3.122502e-15

lasso multicollinearity

— John Hass
source

Je ne sais pas si c'est une bonne simulation car les deux coefficients sont en fait nuls. C'est un peu plus intéressant de regarder le comportement des estimations des coefficients quand il y a une vraie relation.

— dsaxton

Amélioration de la simulation. Je fournis la simulation parce que je veux expliquer quelle est ma question. Je ne m'intéresse qu'aux résultats théoriques de cette question.

— John Hass

Je pense que le comportement sera imprévisible car le modèle n'est pas identifiable. Autrement dit, comment la procédure d'ajustement de modèle peut-elle savoir, par exemple, que et plutôt que et ? Cela ne peut pas, car l'un ou l'autre est "correct".

β_{1} = 100

$\beta_1 = 100$

β_{2} = 0

$\beta_2 = 0$

β_{1} = 0

$\beta_1 = 0$

β_{2} = 50

$\beta_2 = 50$

— dsaxton

Je suis d'accord avec votre raisonnement. Existe-t-il une manière mathématique de le décrire?

— John Hass

Je pense que vous vouliez dire y = 100*x1 + 100 + runif(100), sinon vous obtenez un seul nombre aléatoire qui est recyclé et ajouté uniformément à toutes les autres entrées.

— Firebug

Réponses:

Notez que

\begin{aligned} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} & = ‖ y - β_{1} x_{1} - β_{2} x_{2} ‖_{2}^{2} + λ (| β_{1} | + | β_{2} |) \\ = ‖ y - (β_{1} + 2 β_{2}) x_{1} ‖_{2}^{2} + λ (| β_{1} | + | β_{2} |) . \end{aligned}

$\begin{align*} \|y-X\beta\|_2^2 + \lambda \|\beta\|_1 & = \|y - \beta_1 x_1 - \beta_2 x_2 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right) \\ & = \|y - (\beta_1 + 2 \beta_2) x_1 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right). \end{align*}$

Pour toute valeur fixe du coefficient , la pénalitéest minimisé lorsque . En effet, la pénalité sur est deux fois plus pondérée! Pour mettre cela en notation,satisfait pour tout . Par conséquent, l'estimateur au lasso $\beta_1 + 2\beta_2$ $|\beta_1| + |\beta_2|$ $\beta_1 = 0$ $\beta_1$

\tilde{β} = \arg min_{β : β_{1} + 2 β_{2} = K} | β_{1} | + | β_{2} |

$\tilde\beta = \arg\min_{\beta \, : \, \beta_1 + 2\beta_2 = K}|\beta_1| + |\beta_2|$

{\tilde{β}}_{1} = 0

$\tilde\beta_1 = 0$

K

$K$

\begin{aligned} \hat{β} & = \arg min_{β \in R^{p}} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ = \arg min_{β \in R^{p}} ‖ y - (β_{1} + 2 β_{2}) x_{1} ‖_{2}^{2} + λ (| β_{1} | + | β_{2} |) \\ = \arg_{β} min_{K \in R} min_{β \in R^{p} : β_{1} + 2 β_{2} = K} ‖ y - K x_{1} ‖_{2}^{2} + λ (| β_{1} | + | β_{2} |) \\ = \arg_{β} min_{K \in R} {‖ y - K x_{1} ‖_{2}^{2} + λ min_{β \in R^{p} : β_{1} + 2 β_{2} = K} {(| β_{1} | + | β_{2} |)}} \end{aligned}

$\begin{align*} \hat\beta & = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \\ & = \arg\min_{\beta \in \mathbb{R}^p} \|y - (\beta_1 + 2 \beta_2) x_1 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right) \\ & = \arg_\beta \min_{K \in \mathbb{R}} \, \min_{\beta \in \mathbb{R}^p \, : \, \beta_1 + 2 \beta_2 = K} \, \|y - K x_1 \|_2^2 + \lambda \left( |\beta_1| + |\beta_2| \right) \\ & = \arg_\beta \min_{K \in \mathbb{R}} \, \left\{ \|y - K x_1 \|_2^2 + \lambda \min_{\beta \in \mathbb{R}^p \, : \, \beta_1 + 2 \beta_2 = K} \, \left\{ \left( |\beta_1| + |\beta_2| \right) \right\} \right\} \end{align*}$ satisfait . La raison pour laquelle les commentaires à la question de OP sont trompeurs est qu'il y a une pénalité sur le modèle: ceux

{\hat{β}}_{1} = 0

$\hat\beta_1 = 0$

(0, 50)

$(0, 50)$ et coefficients donnent la même erreur, mais une norme différente ! De plus, il n'est pas nécessaire de regarder quoi que ce soit comme les LAR: ce résultat découle immédiatement des premiers principes.

(100, 0)

$(100,0)$

ℓ_{1}

$\ell_1$

Comme l'a souligné Firebug, la raison pour laquelle votre simulation montre un résultat contradictoire est qu'elle met glmnetautomatiquement à l'échelle la variance unitaire des fonctionnalités. Autrement dit, en raison de l'utilisation de glmnet, nous sommes effectivement dans le cas où . Là, l'estimateur n'est plus unique: et sont tous deux dans l'arg min. En effet, est dans le pour tout tel que . $x_1 = x_2$ $(100,0)$ $(0,100)$ $(a,b)$ $\arg\min$ $a,b \geq 0$ $a+b = 100$

Dans ce cas de caractéristiques égales, glmnetconvergera en une seule itération: il seuil doucement le premier coefficient, puis le deuxième coefficient est mis à zéro par seuil doux.

Cela explique pourquoi la simulation a trouvé en particulier. En effet, le deuxième coefficient sera toujours nul, quel que soit l'ordre des caractéristiques. $\hat\beta_2 = 0$

Preuve: supposons WLOG que la fonctionnalité satisfait . La descente de coordonnées (l'algorithme utilisé par ) calcule pour sa première itération: suivi de où . Alors, puisque $x \in \mathbb{R}^n$ $\|x\|_2 = 1$ glmnet

{\hat{β}}_{1}^{(1)} = S_{λ} (x^{T} y)

$\hat\beta_1^{(1)} = S_\lambda(x^T y)$

\begin{aligned} {\hat{β}}_{2}^{(1)} & = S_{λ} [x^{T} (y - x S_{λ} (x^{T} y))] \\ = S_{λ} [x^{T} y - x^{T} x (x^{T} y + T)] \\ = S_{λ} [- T] \\ = 0, \end{aligned}

$\begin{align*} \hat\beta_2^{(1)} & = S_\lambda \left[ x^T \left( y - x S_\lambda (x^T y) \right) \right] \\ & = S_\lambda \left[ x^T y - x^T x \left( x^T y + T \right) \right] \\ & = S_\lambda \left[ - T \right] \\ & = 0, \end{align*}$

T = {\begin{cases} - λ & if x^{T} y > λ \\ λ & if x^{T} y < - λ \\ 0 & otherwise \end{cases}

$T = \begin{cases} - \lambda & \textrm{ if } x^T y > \lambda \\ \lambda & \textrm{ if } x^T y < -\lambda \\ 0 & \textrm{ otherwise} \end{cases}$

{\hat{β}}_{2}^{(1)} = 0

$\hat\beta_2^{(1)}= 0$ , la deuxième itération de la descente de coordonnées répétera les calculs ci-dessus. Inductivement, nous voyons que pour toutes les itérations et . Par conséquent , rapportera et puisque le critère d'arrêt est immédiatement atteint.

{\hat{β}}_{j}^{(i)} = {\hat{β}}_{j}^{(i)}

$\hat\beta_j^{(i)} = \hat\beta_j^{(i)}$

i

$i$

j \in {1, 2}

$j \in \{1,2\}$ glmnet

{\hat{β}}_{1} = {\hat{β}}_{1}^{(1)}

$\hat\beta_1 = \hat\beta_1^{(1)}$

{\hat{β}}_{2} = {\hat{β}}_{2}^{(1)}

$\hat\beta_2 = \hat\beta_2^{(1)}$

— user795305
source

glmnetla mise à l'échelle des fonctionnalités est activée par défaut, je suis presque sûr. Donc et deviennent les mêmes dans le modèle.

x_{1}

$x_1$

x_{2}

$x_2$

— Firebug

Essayez ceci à la place: ridge.mod=cv.glmnet(x_train,y,alpha=1, standardize = FALSE); coef(ridge.mod)

— Firebug

Ça y est! Excellente réflexion, @Firebug! Maintenant, le coefficient de devient en effet estimé à zéro. Merci d'avoir partagé vos idées!

x_{1}

$x_1$

— user795305

Lorsque je réexécute votre code, j'obtiens que le coefficient de est numériquement impossible à distinguer de zéro. $x_2$

Pour mieux comprendre pourquoi LASSO définit ce coefficient à zéro, vous devez examiner la relation entre LASSO et la régression du moindre angle (LAR). LASSO peut être considéré comme un LAR avec une modification spéciale.

L'algorithme de LAR est à peu près comme ceci: Commencez avec un modèle vide (sauf pour une interception). Ajoutez ensuite la variable prédictive la plus corrélée à , disons . le coefficient de ce prédicteur , jusqu'à ce que le résiduel soit également corrélé avec et une autre variable de prédicteur . ensuite les coefficients de et jusqu'à ce qu'un troisième prédicteur soit également corrélé avec le résiduel et ainsi de suite. $y$ $x_j$ $\beta_j$ $y - c - x_j\beta_j$ $x_j$ $x_k$ $x_j$ $x_k$ $x_l$ $y - c - x_j\beta_j -x_k\beta_k$

LASSO peut être considéré comme LAR avec la torsion suivante: dès que le coefficient d'un prédicteur dans votre modèle (un prédicteur "actif") atteint zéro, supprimez ce prédicteur du modèle. C'est ce qui se produit lorsque vous régressez sur les prédicteurs colinéaires: les deux seront ajoutés au modèle en même temps et, à mesure que leurs coefficients seront modifiés, leur corrélation respective avec les résidus changera proportionnellement, mais l'un des prédicteurs sera supprimé de l'ensemble actif car il atteint zéro en premier. Quant à savoir lequel des deux prédicteurs colinéaires ce sera, je ne sais pas. [EDIT: Lorsque vous inversez l'ordre de et , vous pouvez voir que le coefficient de $y$ $x_1$ $x_2$ $x_1$ est mis à zéro. Ainsi, l'algorithme glmnet semble simplement mettre d'abord à zéro ces coefficients qui sont ordonnés plus tard dans la matrice de conception.]

Une source qui explique ces choses plus en détail est le chapitre 3 dans "Les éléments de l'apprentissage statistique" de Friedman, Hastie et Tibshirani.

— Matthias Schmidtblaicher
source