Statistiques et Big Data regularization

6

Pourquoi la norme L1 pour les modèles épars

Je lis les livres sur la régression linéaire. Il y a quelques phrases sur les normes L1 et L2. Je les connais, mais je ne comprends pas pourquoi la norme L1 pour les modèles clairsemés. Quelqu'un peut utiliser donner une explication simple?

97 regression lasso regularization ridge-regression

3

Qu'est-ce que le lasso dans l'analyse de régression?

Je cherche une définition non technique du lasso et de son utilisation.

82 regression lasso regularization shrinkage

3

Pourquoi le Lasso fournit-il une sélection variable?

Je lisais Éléments d'apprentissage statistique et j'aimerais savoir pourquoi le lasso fournit une sélection de variables et non la régression de crête. Les deux méthodes minimisent la somme des carrés résiduels et ont une contrainte sur les valeurs possibles des paramètres . Pour le lasso, la contrainte est , alors …

76 regression feature-selection lasso regularization

5

Qu'est-ce que la régularisation en anglais simplifié?

Contrairement à d'autres articles, j'ai trouvé l' entrée de Wikipédia sur ce sujet illisible pour une personne non mathématique (comme moi). J'ai compris l'idée de base, à savoir que vous favorisiez les modèles avec moins de règles. Ce que je ne comprends pas, c'est comment passer d'un ensemble de règles …

74 regularization

6

La régularisation L2 est équivalente au Prior Gaussien

Je continue à lire ceci et intuitivement je peux le voir, mais comment passer de la régularisation L2 à dire qu’il s’agit d’un Prior gaussien analytiquement? Il en va de même pour dire que L1 est équivalent à un précédent laplacien. Toute autre référence serait géniale.

56 regression references regularization

2

Pourquoi le retrait fonctionne-t-il?

Afin de résoudre les problèmes de sélection de modèle, un certain nombre de méthodes (LASSO, régression de crête, etc.) réduiront les coefficients des variables prédictives vers zéro. Je cherche une explication intuitive de la raison pour laquelle cela améliore la capacité de prédiction. Si le véritable effet de la variable …

55 lasso regularization ridge-regression intuition shrinkage

7

Pourquoi le terme de régularisation * ajouté * à la fonction de coût (au lieu de multiplié, etc.)?

Chaque fois que la régularisation est utilisée, elle est souvent ajoutée à la fonction de coût, comme dans la fonction de coût suivante. J(θ)=12(y−θXT)(y−θXT)T+α∥θ∥22J(θ)=12(y−θXT)(y−θXT)T+α‖θ‖22 J(\theta)=\frac 1 2(y-\theta X^T)(y-\theta X^T)^T+\alpha\|\theta\|_2^2 Cela me semble intuitif puisque minimiser le fonction de coût signifie minimiser l'erreur (le terme de gauche) et minimiser les magnitudes …

51 regularization

6

Est une régression de crête inutile dans les dimensions élevées (

Considérons un bon vieux problème de régression avec prédicteurs et taille d’échantillon . La sagesse habituelle est que l’estimateur OLS va sur-adapter et sera généralement surperformé par l’estimateur de régression de crête:Il est standard d’utiliser la validation croisée pour trouver un paramètre de régularisation optimal . Ici, j'utilise un CV …

50 cross-validation regularization overfitting ridge-regression shrinkage

6

Pourquoi la multicolinéarité n'est-elle pas vérifiée dans les statistiques modernes / l'apprentissage automatique?

Dans les statistiques traditionnelles, lors de la construction d'un modèle, nous vérifions la multicolinéarité à l'aide de méthodes telles que les estimations du facteur d'inflation de la variance (VIF), mais en apprentissage automatique, nous utilisons plutôt la régularisation pour la sélection des caractéristiques et ne semblons pas vérifier si les …

44 regression machine-learning multicollinearity regularization vif

3

Méthodes de régularisation pour la régression logistique

La régularisation à l'aide de méthodes telles que Ridge, Lasso, ElasticNet est assez courante pour la régression linéaire. Je voulais savoir ce qui suit: Ces méthodes sont-elles applicables à la régression logistique? Si tel est le cas, existe-t-il des différences dans la manière dont ils doivent être utilisés pour la …

42 regression logistic regularization

1

Réseaux de neurones: impulsion de changement de poids et perte de poids

Momentum est utilisé pour diminuer les fluctuations de poids lors d’itérations successives:αα\alpha Δ ωje( t + 1 ) = - η∂E∂wje+ α Δ ωje( t ) ,Δωje(t+1)=-η∂E∂wje+αΔωje(t),\Delta\omega_i(t+1) = - \eta\frac{\partial E}{\partial w_i} + \alpha \Delta \omega_i(t), où E( w )E(w)E({\bf w}) est la fonction d'erreur, ww{\bf w} - le vecteur …

42 neural-networks optimization regularization gradient-descent

5

Comment dériver la solution de régression de crête?

J'ai des problèmes avec la dérivation de la solution pour la régression de crête. Je connais la solution de régression sans le terme de régularisation: β=(XTX)−1XTy.β=(XTX)−1XTy.\beta = (X^TX)^{-1}X^Ty. Mais après avoir ajouté le terme L2 à la fonction de coût, comment se fait-il que la solution devienneλ∥β∥22λ‖β‖22\lambda\|\beta\|_2^2 β=(XTX+λI)−1XTy.β=(XTX+λI)−1XTy.\beta = (X^TX …

41 regression least-squares regularization ridge-regression

3

Justification empirique de la règle d'erreur standard unique lors de l'utilisation de la validation croisée

Existe-t-il des études empiriques justifiant l’utilisation de la règle de l’erreur standard unique en faveur de la parcimonie? Cela dépend évidemment du processus de génération des données, mais tout ce qui analyse un grand corpus de jeux de données serait une lecture très intéressante. La "règle d'erreur standard unique" est …

39 cross-validation model-selection regularization

7

Pourquoi la régularisation ne résout-elle pas le besoin en données des réseaux neuronaux profonds?

Un problème que j'ai souvent vu dans le contexte des réseaux de neurones en général, et des réseaux de neurones profonds en particulier, est qu'ils sont "gourmands en données". avec lequel former le réseau. D'après ce que je comprends, cela est dû au fait que les NNets, notamment les Deep …

37 neural-networks deep-learning regularization

2

Si seule la prévision présente un intérêt, pourquoi utiliser le lasso sur la crête?

À la page 223 de l' Introduction à l'apprentissage statistique , les auteurs résument les différences entre la régression de la crête et le lasso. Ils fournissent un exemple (Figure 6.9) du cas où "le lasso tend à surpasser la régression de la crête en termes de biais, de variance …

37 machine-learning prediction lasso regularization ridge-regression

Questions marquées «regularization»