Filet élastique de groupe


8

Le lasso et le filet élastique ne sont pas en mesure de traiter des variables de plus de deux catégories et, par conséquent, une répartition des variables catégorielles en variables muettes est nécessaire pour l'application de ces méthodes. Cela peut entraîner plusieurs problèmes et il existe donc des extensions du lasso au groupe lasso ou au groupe lasso clairsemé .

Cependant, je me demande si de telles extensions existent également pour le filet élastique. Malheureusement, je n'ai pu trouver aucune littérature statistique sur le sujet.

Question: Existe-t-il un filet élastique de groupe?


1
Regardez le paquet glmnet de R ...
kjetil b halvorsen

1
Oui, je pense que c'est exact.
kjetil b halvorsen

1
Dans un sens très réel, ce «filet élastique de groupe» n'est qu'une version du «lasso de groupe» où les groupes peuvent se chevaucher. Par exemple, si est votre ensemble de groupes, alors exécutez le lasso de groupe sur , où nous considérons qu'il y a fonctionnalités . Ce sera équivalent au groupe élastique net jusqu'à une reparamétrisation du paramètre de réglage contrôlant . GG{{1,,p}}p{1,,p}
user795305

2
L'ensemble n'est plus une partition, contrairement à lui-même. (Ceci est le commentaire qui se chevauchent.) La partie sur les différents paramétrisations se rapporte simplement à la fonction objective dont je parle d'être une reparamétrie de celle dont vous discutez probablement. Ce commentaire peut être largement ignoré imo. De plus, la procédure recommandée par @kjetilbhalvorsen ne semble pas être correcte. Le regroupement dont il est question ici concerne les réponses multivariées. C'est différent. Cependant, vous pouvez, par exemple, utiliser le package pour ce faire. G{{1,,p}}Ggglasso
user795305

2
(Remarque: ne mettez pas d'espace après le "@", sinon l'utilisateur n'en sera pas informé.)
user795305

Réponses:


6

Soit le groupe qui vous intéresse; c'est-à-dire, que soit une partition de , où nous considérons qu'il y a fonctionnalités. Avec la réponse et la matrice de conception , l'estimateur de lasso de groupe estEn appliquant une autre pénalité au carré pour induire un retrait global, nous obtiendrions l'estimateurGG{1,,p}pyRnXRn×p

argminβRp12nyXβ22+λgG|G|1/2βg2.
2
argminβRp12nyXβ22+λgG|G|1/2βg2+μβ22.
On pourrait appeler cela le "filet élastique de groupe". Par dualité lagrangienne, on peut écrire
argminβRp12nyXβ22+λgG|G|1/2βg2+μβ22=argminβRp:β22C12nyXβ22+λgG|G|1/2βg2=argminβRp:β2C12nyXβ22+λgG|G|1/2βg2=argminβRp12nyXβ22+λgG|G|1/2βg2+μ~β2=argminβRp12nyXβ22+(λgG|G|1/2βg2+μ~p1/2β2),
où est la variable double correspondante et . Comme nous pouvons le voir, cette dernière expression est un lasso de groupe avec des groupes "se chevauchant", car n'est plus une partition. De plus, le groupe a une variable double (ou variable de réglage) qui est distincte de la variable double pour les autres groupes.μ~μ~=p1/2μ~G{1,,p}{1,,p}μ~λ

Cela peut être un problème d'optimisation qui peut être résolu en utilisant le package gglasso. La lecture de la section à la page 9 de la documentation ici vous renseignera sur la gglassofonction à utiliser. Notez que l'argument pmaxdevra être fourni manuellement avec un dernier composant qui servira de paramètre de réglage.

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.