Statistiques et Big Data overfitting

21

Qu'est-ce qu'un exemple concret de «surapprentissage»?

Je comprends un peu ce que signifie "surapprentissage", mais j’ai besoin d’aide pour trouver un exemple concret qui s’applique à la suralimentation.

107 overfitting

6

Est une régression de crête inutile dans les dimensions élevées (

Considérons un bon vieux problème de régression avec prédicteurs et taille d’échantillon . La sagesse habituelle est que l’estimateur OLS va sur-adapter et sera généralement surperformé par l’estimateur de régression de crête:Il est standard d’utiliser la validation croisée pour trouver un paramètre de régularisation optimal . Ici, j'utilise un CV …

50 cross-validation regularization overfitting ridge-regression shrinkage

6

Random Forest - Comment gérer l'overfitting

J'ai une formation en informatique mais j'essaie de m'enseigner la science des données en résolvant des problèmes sur Internet. Je travaille sur ce problème depuis deux semaines (environ 900 lignes et 10 fonctionnalités). J'utilisais initialement la régression logistique, mais maintenant je suis passé aux forêts aléatoires. Lorsque j'exécute mon modèle …

41 random-forest overfitting

4

La revue Science a-t-elle approuvé le Garden of Forking Pathes Analyses?

L'idée de l'analyse adaptative des données est que vous modifiez votre plan d'analyse des données à mesure que vous en apprenez davantage. Dans le cas de l'analyse exploratoire des données (EDA), c'est généralement une bonne idée (vous recherchez souvent des tendances imprévues dans les données), mais pour une étude de …

29 hypothesis-testing overfitting eda out-of-sample differential-privacy

4

Comment est-il possible que la perte de validation augmente alors que la précision de validation augmente également

J'entraîne un réseau neuronal simple sur l'ensemble de données CIFAR10. Après un certain temps, la perte de validation a commencé à augmenter, tandis que la précision de validation augmente également. La perte de test et la précision du test continuent de s'améliorer. Comment est-ce possible? Il semble que si la …

28 neural-networks deep-learning conv-neural-network overfitting

5

Surajustement d'un modèle de régression logistique

Est-il possible d'ajuster un modèle de régression logistique? J'ai vu une vidéo disant que si ma zone sous la courbe ROC est supérieure à 95%, il est très probable qu'elle soit sur-ajustée, mais est-il possible de sur-adapter un modèle de régression logistique?

28 logistic overfitting regression-strategies

6

Pourquoi des poids plus petits donnent-ils des modèles de régularisation plus simples?

J'ai terminé le cours d'apprentissage automatique d'Andrew Ng il y a environ un an et j'écris maintenant mon exploration des mathématiques au lycée sur le fonctionnement de la régression logistique et des techniques pour optimiser les performances. Une de ces techniques est bien sûr la régularisation. L'objectif de la régularisation …

27 regression machine-learning optimization regularization overfitting

2

Est-il vrai que les méthodes bayésiennes ne conviennent pas?

Est-il vrai que les méthodes bayésiennes ne conviennent pas? (J'ai vu des articles et des tutoriels faisant cette affirmation) Par exemple, si nous appliquons un processus gaussien au MNIST (classification des chiffres manuscrits), mais que nous ne lui montrons qu'un seul échantillon, reviendra-t-il à la distribution précédente pour toutes les …

25 bayesian nonparametric gaussian-process overfitting misspecification

5

Un modèle suréquipé est-il nécessairement inutile?

Supposons qu'un modèle a une précision de 100% sur les données de formation, mais une précision de 70% sur les données de test. L'argument suivant est-il vrai à propos de ce modèle? Il est évident qu'il s'agit d'un modèle sur-équipé. La précision du test peut être améliorée en réduisant le …

25 model accuracy overfitting

2

Est-il judicieux de combiner PCA et LDA?

Supposons que j'ai un ensemble de données pour une tâche de classification statistique supervisée, par exemple via un classifieur Bayes. Cet ensemble de données se compose de 20 entités et je veux le résumer à 2 entités via des techniques de réduction de dimensionnalité telles que l'analyse en composantes principales …

25 classification pca regularization discriminant-analysis overfitting

4

«Apprentissage semi-supervisé» - est-ce trop adapté?

Je lisais le rapport de la solution gagnante d'un concours Kaggle ( Malware Classification ). Le rapport peut être trouvé dans cet article du forum . Le problème était un problème de classification (neuf classes, la métrique était la perte logarithmique) avec 10000 éléments dans le train, 10000 éléments dans …

21 machine-learning random-forest boosting overfitting semi-supervised

9

Sur-ajustement et sous-ajustement

J'ai fait des recherches sur le sur-ajustement et le sous-ajustement, et j'ai compris ce qu'ils sont exactement, mais je ne trouve pas les raisons. Quelles sont les principales raisons du sur-ajustement et du sous-ajustement? Pourquoi sommes-nous confrontés à ces deux problèmes dans la formation d'un modèle?

20 machine-learning dataset overfitting

1

Discussion sur l'overfit dans xgboost

Ma configuration est la suivante: Je suis les directives dans "Modélisation prédictive appliquée". J'ai donc filtré les fonctionnalités corrélées et je me retrouve avec ce qui suit: 4900 points de données dans l'ensemble d'apprentissage et 1600 points de données dans l'ensemble de test. J'ai 26 fonctionnalités et la cible est …

20 machine-learning boosting overfitting

5

Éviter le sur-ajustement dans la régression: alternatives à la régularisation

La régularisation en régression (linéaire, logistique ...) est le moyen le plus utilisé pour réduire le sur-ajustement. Lorsque l'objectif est la précision des prédictions (sans explication), existe-t-il de bonnes alternatives à la régularisation, particulièrement adaptées aux ensembles de données volumineuses (mi / milliards d'observations et millions de fonctionnalités)?

19 regression regularization overfitting

2

Boosting: pourquoi le taux d'apprentissage est-il appelé paramètre de régularisation?

Le paramètre de taux d'apprentissage ( ) dans Gradient Boosting réduit la contribution de chaque nouveau modèle de base - généralement un arbre peu profond - qui est ajouté dans la série. Il s'est avéré augmenter considérablement la précision de l'ensemble de test, ce qui est compréhensible car avec des …

19 machine-learning data-mining predictive-models boosting overfitting

Questions marquées «overfitting»