J'effectue une régression logistique net élastique sur un ensemble de données de soins de santé en utilisant le glmnetpackage dans R en sélectionnant les valeurs lambda sur une grille de de 0 à 1. Mon code abrégé est ci-dessous:$\alpha$

alphalist <- seq(0,1,by=0.1)
elasticnet <- lapply(alphalist, function(a){
  cv.glmnet(x, y, alpha=a, family="binomial", lambda.min.ratio=.001)
})
for (i in 1:11) {print(min(elasticnet[[i]]$cvm))}

qui génère l'erreur moyenne de validation croisée pour chaque valeur de alpha de à avec un incrément de :1,0 $0.0$$1.0$$0.1$

[1] 0.2080167
[1] 0.1947478
[1] 0.1949832
[1] 0.1946211
[1] 0.1947906
[1] 0.1953286
[1] 0.194827
[1] 0.1944735
[1] 0.1942612
[1] 0.1944079
[1] 0.1948874

Sur la base de ce que j'ai lu dans la littérature, le choix optimal de est l'endroit où l'erreur cv est minimisée. Mais il y a beaucoup de variation dans les erreurs sur la gamme des alphas. Je vois plusieurs minimums locaux, avec une erreur minimum globale de for .$\alpha$0.1942612alpha=0.8

Est-il sûr d'y aller alpha=0.8? Ou, étant donné la variation, dois-je réexécuter cv.glmnetavec plus de plis de validation croisée (par exemple au lieu de ) ou peut-être un plus grand nombre d' incréments entre et pour obtenir une image claire du chemin d'erreur cv?10 $20$$10$$\alpha$alpha=0.01.0

Clarification de la signification des paramètres $\alpha$ et Elastic Net

Différentes terminologies et paramètres sont utilisés par différents packages, mais la signification est généralement la même:

Le package R Glmnet utilise la définition suivante

$\min_{\beta_0,\beta} \frac{1}{N} \sum_{i=1}^{N} w_i l(y_i,\beta_0+\beta^T x_i) + \lambda\left[(1-\alpha)||\beta||_2^2/2 + \alpha ||\beta||_1\right]$

Sklearn utilise

$\min_{w} \frac{1}{2N} \sum_{i=1}^{N} ||y - Xw ||^2_2 + \alpha \times l_1 \text{ratio} ||w||_1 + 0.5 \times \alpha \times (1 - l_1 \text{ratio}) \times ||w||_2^2$

Il existe également des paramétrisations alternatives utilisant et ..$a$$b$

Pour éviter toute confusion, je vais appeler

• $\lambda$ le paramètre de force de pénalité
• $L_1 \text{ratio}$L 1 L 2 le rapport entre la pénalité et , allant de 0 (crête) à 1 (lasso)$L_1$$L_2$

Visualiser l'impact des paramètres

Considérons un ensemble de données simulées où compose d'une courbe sinusoïdale bruyante et est une caractéristique bidimensionnelle composée de et . En raison de la corrélation entre et la fonction de coût est une vallée étroite.$y$$X$$X_1 = x$$X_2 = x^2$$X_1$$X_2$

Les graphiques ci-dessous illustrent le chemin de solution de la régression élastique avec deux paramètres de rapport différents , en fonction de λ le paramètre de résistance.$L_1$$\lambda$

• Pour les deux simulations: lorsque $\lambda = 0$ la solution est la solution OLS en bas à droite, avec la fonction de coût en forme de vallée associée.
• À mesure que $\lambda$ augmente, la régularisation entre en jeu et la solution tend à $(0,0)$
• La principale différence entre les deux simulations est le paramètre de rapport $L_1$ .
• LHS : pour un petit rapport $L_1$ , la fonction de coût régularisé ressemble beaucoup à la régression de Ridge avec des contours ronds.
• RHS : pour un rapport $L_1$ élevé, la fonction de coût ressemble beaucoup à la régression de Lasso avec les contours de forme de diamant typiques.
• Pour le ratio intermédiaire (non illustré), la fonction de coût est un mélange des deux$L_1$

Comprendre l'effet des paramètres

L'ElasticNet a été introduit pour contrer certaines des limites du Lasso qui sont:

• S'il y a plus de variables que de points de données , , le lasso sélectionne au plus variables.$p$$n$$p>n$$n$
• Lasso ne parvient pas à effectuer une sélection groupée, en particulier en présence de variables corrélées. Il aura tendance à sélectionner une variable dans un groupe et à ignorer les autres

En combinant une pénalité et une pénalité quadratique , nous obtenons les avantages des deux:$L_1$$L_2$

• $L_1$ génère un modèle clairsemé
• $L_2$ supprime la limitation du nombre de variables sélectionnées, encourage le regroupement et stabilise lechemin de régularisation$L_1$ .

Vous pouvez le voir visuellement sur le diagramme ci-dessus, les singularités au niveau des sommets encouragent la rareté , tandis que les bords convexes stricts encouragent le regroupement .

Voici une visualisation tirée de Hastie (l'inventeur d'ElasticNet)

Lectures complémentaires

• https://web.stanford.edu/~hastie/Papers/B67.2%20(2005)%20301-320%20Zou%20&%20Hastie.pdf
• https://www.researchgate.net/profile/Federico_Andreis/publication/321106005_Shrinkage_methods_ridge_lasso_elastic_nets/links/5a0da3d7aca2729b1f4eeabb/Shrinkage-methods-ridge-lasso-elastic-nets.pdf
• https://web.stanford.edu/~hastie/TALKS/enet_talk.pdf

Permettez-moi d'ajouter quelques remarques très pratiques malgré l'âge de la question. Comme je ne suis pas un utilisateur R, je ne peux pas laisser le code parler, mais il doit néanmoins être compréhensible.

1. $\alpha$$k$$f_1, ..., f_k$$f(x) = \frac{1}{k}\sum_i{f_i(x)}$$f(x) = \sqrt[k]{\prod_{i=1}^k{f_i(x)}}$

2. Un des avantages du rééchantillonnage est que vous pouvez inspecter la séquence des résultats des tests, qui sont les scores du cv. Vous devez toujours non seulement regarder la moyenne mais la déviation std (ce n'est pas une distribution normale, mais vous agissez comme si). Habituellement, vous affichez ce chiffre à 65,5% (± 2,57%) pour la précision. De cette façon, vous pouvez dire si les "petites déviations" sont plus susceptibles d'être dues au hasard ou structurellement. Mieux serait même d'inspecter les séquences complètes . S'il y a toujours un repli pour une raison quelconque, vous voudrez peut-être repenser la façon dont vous effectuez votre fractionnement (cela suggère une conception expérimentale défectueuse, également: avez-vous mélangé?). Dans scikit, découvrez les GridSearchCVdétails des magasins sur les délais de pliage cv_results_( voir ici ).

3. $\alpha$$L_1$$\alpha$$L_2$