Statistiques et Big Data regularization

2

Est-il possible de simuler une régression logistique sans hasard?

Nous pouvons simuler une régression linéaire sans caractère aléatoire, ce qui signifie que nous faisons au lieu de . Ensuite, si nous ajustons un modèle linéaire, les coefficients seront identiques à la "vérité fondamentale". Voici un exemple.y=Xβy=Xβy=X\betay=Xβ+ϵy=Xβ+ϵy=X\beta+\epsilon set.seed(0) n <- 1e5 p <- 3 X <- matrix(rnorm(n*p), ncol=p) beta <- …

8 r logistic regularization linear separation

1

Régularisation L2 vs retrait d'effets aléatoires

Une propriété fondamentale de la régression à effets aléatoires est que les estimations d'interception aléatoire sont "rétrécies" vers la moyenne globale de la réponse en fonction de la variance relative de chaque estimation. U^j=ρjy¯j+(1−ρj)y¯U^j=ρjy¯j+(1−ρj)y¯\hat{U}_j = \rho_j \bar{y}_j + (1-\rho_j)\bar{y} oùρj=τ2/(τ2+σ2/nj).ρj=τ2/(τ2+σ2/nj).\rho_j = \tau^2 / (\tau^2 + \sigma^2/n_j). C'est également le cas …

8 mixed-model regularization shrinkage

1

Alternatives à la généralisation L1, L2 et Dropout

J'ai la configuration suivante pour un projet de recherche Finance / Machine Learning dans mon université: j'applique un (Deep) Neural Network (MLP) avec la structure suivante dans Keras / Theano pour distinguer les actions surperformantes (étiquette 1) des actions sous-performantes ( étiquette 0). En premier lieu, j'utilise simplement des multiples …

8 machine-learning neural-networks deep-learning regularization dropout

1

Le coefficient variable augmente, puis diminue à mesure que lambda diminue (LASSO)

Je régresse un prédicteur continu sur plus de 60 variables (à la fois continues et catégorielles) en utilisant LASSO (glmnet). En examinant le tracé de trace variable, je remarque que lorsque le log lambda augmente, l'une des variables clés a un coefficient qui augmente réellement. Puis, après un certain point, …

8 lasso regularization glmnet

1

Finesse de la grille et sur-ajustement lors du réglage en LASSO, crête, filet élastique

Je me demande la finesse optimale de la grille et quelle est la relation entre la finesse de la grille et le sur-ajustement dans les méthodes de régularisation telles que LASSO, régression de crête ou filet élastique. Supposons que je veuille adapter un modèle de régression utilisant LASSO à un …

8 lasso regularization ridge-regression overfitting elastic-net

1

Régularisation et projection sur la balle

J'essaie de comprendre comment fonctionne la régularisation en termes de projections sur une boule et de projection euclidienne sur le simplexe.l∗l∗l_* Je ne suis pas sûr de comprendre ce que nous voulons dire lorsque nous le vecteur de poids sur les ou .l1l1l_1l2l2l_2 Je peux comprendre le concept de régularisation …

8 optimization regularization projection

2

Le MLE avec régularisation est-il une méthode bayésienne?

On dit généralement que les a priori sur les statistiques bayésiennes peuvent être considérés comme des facteurs de régularisation car ils pénalisent les solutions où le précédent place une faible densité de probabilité. Ensuite, étant donné ce modèle simple dont les paramètres MLE sont: a r gm aXμ N( y; …

8 bayesian regularization frequentist philosophical

2

Quelle est la signification du chemin de régularisation dans LASSO ou les problèmes de rareté associés?

Si nous sélectionnons différentes valeurs du paramètre , nous pourrions obtenir des solutions avec différents niveaux de rareté. Cela signifie-t-il que le chemin de régularisation est de savoir comment sélectionner la coordonnée qui pourrait obtenir une convergence plus rapide? Je suis un peu confus même si j'ai souvent entendu parler …

8 lasso regularization

2

Interprétation des coefficients de régression logistique avec un terme de régularisation

Je comprends que les coefficients d'une équation logistique peuvent être interprétés comme un rapport impair. Si un terme de régularisation est ajouté pour contrôler le sur-ajustement, comment cela change-t-il l'interprétation des coefficients?

8 logistic interpretation regression-coefficients regularization odds-ratio

2

Gradient de log-vraisemblance multivariée gaussienne

J'essaie de trouver l'estimation MAP d'un modèle par descente de gradient. Mon a priori est gaussien multivarié avec une matrice de covariance connue. Sur le plan conceptuel, je pense que je sais comment faire, mais j'espérais de l'aide pour les détails. En particulier, s'il existe un moyen plus facile d'aborder …

8 normal-distribution covariance-matrix regularization gradient-descent ridge-regression

1

Régularisation du collecteur à l'aide du graphe laplacien dans SVM

J'essaie d'implémenter la régularisation du manifold dans les machines à vecteurs de support (SVM) dans Matlab. Je suis les instructions du document de Belkin et al. (2006), il y a l'équation: f∗=argminf∈Hk∑li=1V(xi,yi,f)+γA∥f∥2A+γI∥f∥2If∗=argminf∈Hk∑i=1lV(xi,yi,f)+γA‖f‖A2+γI‖f‖I2f^{*} = \text{argmin}_{f \in H_k}\sum_{i=1}^{l}V\left(x_i,y_i,f\right)+\gamma_{A}\left\| f \right\|_{A}^{2}+\gamma_{I}\left\| f \right\|_{I}^{2} où V est une fonction de perte et γAγA\gamma_A est …

8 machine-learning svm regularization

2

Comment l'interception est-elle calculée dans GLMnet?

J'ai implémenté la version GLMNET de filet élastique pour la régression linéaire avec un autre logiciel que R. J'ai comparé mes résultats avec la fonction R glmnet en mode lasso sur les données du diabète . La sélection des variables est correcte lorsque l'on fait varier la valeur du paramètre …

8 r lasso regularization glmnet elastic-net

Questions marquées «regularization»