Statistiques et Big Data overfitting

1

Définition mathématique / algorithmique du sur-ajustement

Existe-t-il une définition mathématique ou algorithmique du sur-ajustement? Les définitions souvent fournies sont le tracé 2D classique de points avec une ligne passant par chaque point et la courbe de perte de validation qui augmente soudainement. Mais y a-t-il une définition mathématiquement rigoureuse?

18 mathematical-statistics optimization overfitting

3

La validation croisée est-elle suffisante pour éviter le sur-ajustement?

Si j'ai des données et que j'exécute une classification (disons forêt aléatoire sur ces données) avec validation croisée (disons 5 fois), pourrais-je conclure qu'il n'y a pas de sur-ajustement dans ma méthode?

17 cross-validation overfitting

1

Le classement privé de Kaggle est-il un bon prédicteur des performances hors échantillon du modèle gagnant?

Bien que les résultats de l'ensemble de test privé ne puissent pas être utilisés pour affiner davantage le modèle, la sélection de modèle parmi un grand nombre de modèles n'est-elle pas effectuée sur la base des résultats de l'ensemble de test privé? Ne seriez-vous pas, grâce à ce seul processus, …

16 model-selection overfitting out-of-sample

1

Dans la théorie de l'apprentissage statistique, n'y a-t-il pas un problème de surapprentissage sur un ensemble de test?

Examinons le problème de la classification de l'ensemble de données MNIST. Selon la page Web MNIST de Yann LeCun , «Ciresan et al.» a obtenu un taux d'erreur de 0,23% sur l'ensemble de test MNIST en utilisant le réseau neuronal convolutionnel. Notons l'ensemble de formation MNIST comme DtrainDtrainD_{train} , l'ensemble …

16 machine-learning classification overfitting probability-inequalities

2

Gérer l'ajustement singulier dans les modèles mixtes

Disons que nous avons un modèle mod <- Y ~ X*Condition + (X*Condition|subject) # Y = logit variable # X = continuous variable # Condition = values A and B, dummy coded; the design is repeated # so all participants go through both Conditions # subject = random effects for …

16 mixed-model lme4-nlme overfitting singular

2

Une erreur hors du sac rend le CV inutile dans les forêts aléatoires?

Je suis relativement nouveau dans les forêts aléatoires. Dans le passé, j'ai toujours comparé la précision de l' ajustement vs le test à l' ajustement vs le train pour détecter tout sur-ajustement. Mais je viens de lire ici que: "Dans les forêts aléatoires, il n'y a pas besoin de validation …

15 cross-validation random-forest overfitting

2

Quelle mesure d'erreur de formation signaler pour les forêts aléatoires?

Je prépare actuellement des forêts aléatoires pour un problème de classification en utilisant le randomForestpackage dans R, et je ne sais pas comment signaler une erreur de formation pour ces modèles. Mon erreur d'entraînement est proche de 0% lorsque je la calcule en utilisant les prédictions que j'obtiens avec la …

15 r machine-learning classification random-forest overfitting

2

Optimisation: la racine de tout mal dans les statistiques?

J'ai déjà entendu l'expression suivante: "L'optimisation est la racine de tout mal dans les statistiques". Par exemple, la première réponse dans ce fil fait cette déclaration en référence au danger d'optimiser trop agressivement lors de la sélection du modèle. Ma première question est la suivante: cette citation est-elle attribuable à …

14 cross-validation optimization overfitting

3

Comment détecter lorsqu'un modèle de régression est trop adapté?

Lorsque vous êtes celui qui fait le travail, sachant ce que vous faites, vous développez une idée du moment où vous avez trop adapté le modèle. D'une part, vous pouvez suivre la tendance ou la détérioration du carré R ajusté du modèle. Vous pouvez également suivre une détérioration similaire des …

14 regression multivariate-analysis overfitting

1

Train vs Test Error Gap et sa relation avec le sur-ajustement: concilier les conseils contradictoires

Il semble y avoir des conseils contradictoires sur la façon de gérer la comparaison entre l'erreur de train et l'erreur de test, en particulier lorsqu'il y a un écart entre les deux. Il semble y avoir deux écoles de pensée qui, selon moi, semblent en conflit. Je cherche à comprendre …

14 cross-validation overfitting

2

Comment la validation croisée k-fold s'inscrit-elle dans le contexte des ensembles de formation / validation / test?

Ma principale question est de savoir comment comprendre la validation croisée k-fold dans le contexte des ensembles de formation / validation / test (si cela correspond à un tel contexte). Habituellement, les gens parlent de diviser les données en un ensemble de formation, de validation et de test - disons …

14 cross-validation dataset overfitting

2

Les données d'entrée corrélées entraînent-elles un sur-ajustement avec les réseaux de neurones?

À mon avis, les données d'entrée corrélées doivent conduire à un sur-ajustement dans les réseaux de neurones car le réseau apprend la corrélation, par exemple le bruit dans les données. Est-ce correct?

13 correlation neural-networks overfitting

1

Empêcher le surajustement de LSTM sur un petit ensemble de données

Je modélise 15000 tweets pour la prédiction des sentiments en utilisant un LSTM monocouche avec 128 unités cachées en utilisant une représentation de type word2vec avec 80 dimensions. J'obtiens une précision de descente (38% avec aléatoire = 20%) après 1 époque. Plus l'entraînement fait baisser la précision de validation à …

13 deep-learning regularization overfitting lstm

3

Est-il préférable de sélectionner des distributions basées sur la théorie, l'ajustement ou autre chose?

Ceci est à la limite d'une question philosophique, mais je suis intéressé par la façon dont d'autres personnes ayant plus d'expérience pensent la sélection de distribution. Dans certains cas, il semble clair que la théorie pourrait mieux fonctionner (les longueurs de queue des souris sont probablement normalement distribuées). Dans de …

12 distributions overfitting heuristic

3

Bayesian vs MLE, problème de surajustement

Dans le livre de Bishop's PRML, il dit que le sur-ajustement est un problème avec l'estimation de maximum de vraisemblance (MLE), et que le bayésien peut l'éviter. Mais je pense que le sur-ajustement est un problème plus lié à la sélection du modèle, pas à la méthode utilisée pour faire …

12 bayesian model-selection overfitting

Questions marquées «overfitting»