Je lisais cet article sur le filet élastique. Ils disent qu'ils utilisent un filet élastique parce que si nous utilisons simplement le Lasso, il a tendance à sélectionner un seul prédicteur parmi les prédicteurs qui sont fortement corrélés. Mais n'est-ce pas ce que nous voulons. Je veux dire que cela nous sauve du problème de la multicolinéarité n'est-ce pas.
Des suggestions / clarifications?
Réponses:
Supposons que deux prédicteurs aient un effet important sur la réponse mais soient fortement corrélés dans l'échantillon à partir duquel vous construisez votre modèle. Si vous en supprimez un du modèle, il ne prédira pas bien pour les échantillons provenant de populations similaires dans lesquelles les prédicteurs ne sont pas fortement corrélés.
Si vous souhaitez améliorer la précision de vos estimations de coefficient en présence de multicolinéarité, vous devez introduire un petit biais, le compensant par une réduction plus importante de la variance. Une façon consiste à supprimer entièrement les prédicteurs - avec LASSO, ou, dans le passé, avec des méthodes pas à pas -, ce qui met leurs estimations de coefficient à zéro. Une autre consiste à biaiser un peu toutes les estimations - avec régression de crête ou, dans le passé, régression sur les premières composantes principales. Un inconvénient de la première est qu'il n'est pas sûr que le modèle soit utilisé pour prédire les réponses des modèles de prédicteurs loin de celles qui se sont produites dans l'échantillon d'origine, car les prédicteurs ont tendance à être exclus simplement parce qu'ils ne sont pas très utiles avec d'autres, presque colinéaires, prédicteurs. (Ce n'est pas que l'extrapolation soit jamais complètement sûre.) Le filet élastique est un mélange des deux, comme l'explique @ user12436, et tend à garder des groupes de prédicteurs corrélés dans le modèle.
Mais n'est-ce pas ce que nous voulons. Je veux dire que cela nous sauve du problème de la multicolinéarité n'est-ce pas.
Oui! et non. Le filet élastique est une combinaison de deux techniques de régularisation, la régularisation L2 (utilisée dans la régression de crête) et la régularisation L1 (utilisée dans LASSO).
Lasso produit des modèles naturellement clairsemés, c'est-à-dire que la plupart des coefficients variables seront réduits à 0 et effectivement exclus du modèle. Ainsi, les variables les moins significatives sont réduites, avant de réduire les autres, contrairement à la crête, où toutes les variables sont réduites, alors qu'aucune d'entre elles n'est vraiment réduite à 0.
Le filet élastique utilise une combinaison linéaire de ces deux approches. Le cas spécifique mentionné par Hastie lors de l'examen de la méthode était dans le cas de grand p, petit n. Ce qui signifie: des données dimensionnelles élevées avec relativement peu d'observations. Dans ce cas, LASSO ne sélectionnerait (apparemment) que tout au plus n variables, tout en éliminant tout le reste, voir l'article de Hastie .
Cela dépendra toujours de l'ensemble de données réel, mais vous pouvez bien imaginer que vous ne voulez pas toujours que la limite supérieure du nombre de variables dans vos modèles soit égale ou inférieure au nombre de vos observations.
Le Lasso et Elastic Net sont des méthodes efficaces pour effectuer une sélection de variables ou de caractéristiques dans des paramètres de données de grande dimension (beaucoup plus de variables que les patients ou les échantillons; par exemple, 20 000 gènes et 500 échantillons de tumeurs).
Il a été démontré (par Hastie et d'autres) qu'Elastic Net peut surpasser Lasso lorsque les données sont fortement corrélées. Le lasso peut simplement sélectionner l'une des variables corrélées et ne se soucie pas laquelle est sélectionnée. Cela peut être un problème lorsque l'on veut valider les variables sélectionnées dans un ensemble de données indépendant. La variable sélectionnée par Lasso n'est peut-être pas le meilleur prédicteur parmi toutes les variables corrélées. Elastic Net résout ce problème en faisant la moyenne des variables hautement corrélées.