Ridge et LASSO ont une structure de covariance?

Après avoir lu le chapitre 3 des Éléments de l'apprentissage statistique (Hastie, Tibshrani & Friedman), je me suis demandé s'il était possible de mettre en œuvre les fameuses méthodes de rétrécissement citées sur le titre de cette question étant donné une structure de covariance, c'est-à-dire minimiser la (peut-être plus générale ) quantité

(\vec{y} - X \vec{β})^{T} V^{- 1} (\vec{y} - X \vec{β}) + λ F (β), (1)

$(\vec{y}-X\vec{\beta})^TV^{-1}(\vec{y}-X\vec{\beta})+\lambda f(\beta),\ \ \ (1)$

au lieu de l'habituel Ceci était principalement motivé par le fait que dans mon application particulière, nous avons des variances différentes pour le

(\vec{y} - X \vec{β}) (\vec{y} - X \vec{β}) + λ F (β) . (2)

$(\vec{y}-X\vec{\beta})(\vec{y}-X\vec{\beta})+\lambda f(\beta).\ \ \ \ \ \ \ \ \ \ \ \ (2)$

\vec{y}

$\vec{y}$ (et parfois même une structure de covariance qui peut être estimée) et j'aimerais les inclure dans la régression. Je l'ai fait pour la régression de crête: au moins avec mon implémentation en Python / C, je vois qu'il y a des différences importantes dans les chemins que tracent les coefficients, ce qui est également notable lorsque l'on compare les courbes de validation croisée dans les deux cas.

Je me préparais maintenant à essayer d'implémenter le LASSO via la régression du moindre angle, mais pour ce faire, je dois d'abord prouver que toutes ses belles propriétés sont toujours valables lors de la réduction de au lieu de . Jusqu'à présent, je n'ai vu aucun travail qui fait tout cela, mais il y a quelque temps, j'ai également lu une citation qui disait quelque chose comme " ceux qui ne connaissent pas les statistiques sont condamnés à la redécouvrir " (par Brad Efron, peut-être? ), c'est pourquoi je demande ici en premier (étant donné que je suis un nouveau venu dans la littérature statistique): est-ce déjà fait quelque part pour ces modèles? Est-il implémenté dans R d'une manière ou d'une autre? $(1)$ $(2)$ $(1)$ au lieu de , qui est ce qui est implémenté dans le code lm.ridge dans R)? $(2)$

Merci d'avance pour vos réponses!

lasso ridge-regression

— Néstor
source

La réponse précédente est également rapportée avec plus de détails dans en.wikipedia.org/wiki/Generalized_least_squares La solution peut être implémentée en utilisant une approche FGLS (Feasible Generalized Least Square)

— Nicola Jean

$V^{-1} = L^TL$

(y - X β)^{T} V^{- 1} (y - X β) = (L y - L X β)^{T} (L y - L X β)

$(y - X\beta)^T V^{-1} (y - X\beta) = (Ly - LX\beta)^T (Ly - LX\beta)$

L y

$Ly$

L X

$LX$

— NRH
source