Statistiques et Big Data overfitting

1

J'ai appris qu'un sur-ajustement peut être détecté en traçant l'erreur d'apprentissage et l'erreur de test en fonction des époques. Comme dans: J'ai lu ce blog où ils disent que le réseau neuronal, net5 est trop adapté et ils fournissent ce chiffre: Ce qui est étrange pour moi, car l'erreur de …

9 neural-networks overfitting

3

Sur-ajustement exprès

Serait-il sensé d'équiper un modèle à dessein? Disons que j'ai un cas d'utilisation où je sais que les données ne varieront pas beaucoup en ce qui concerne les données de formation. Je pense ici à la prévision du trafic, où l'état du trafic suit un ensemble fixe de modèles trajet …

8 machine-learning time-series forecasting prediction overfitting

1

Finesse de la grille et sur-ajustement lors du réglage en LASSO, crête, filet élastique

Je me demande la finesse optimale de la grille et quelle est la relation entre la finesse de la grille et le sur-ajustement dans les méthodes de régularisation telles que LASSO, régression de crête ou filet élastique. Supposons que je veuille adapter un modèle de régression utilisant LASSO à un …

8 lasso regularization ridge-regression overfitting elastic-net

3

Arrêt précoce vs validation croisée

J'utilise actuellement l'arrêt précoce de mon travail pour éviter un ajustement excessif. Plus précisément, ceux pris sous forme d' arrêt anticipé, mais quand? . Je veux maintenant comparer avec d'autres algorithmes de classification où il semble que la validation croisée 10 fois soit largement utilisée. Cependant, je ne sais pas …

8 cross-validation overfitting

2

Pourquoi un modèle statistique serait-il surchargé s'il était doté d'un énorme ensemble de données?

Mon projet actuel peut m'obliger à construire un modèle pour prédire le comportement d'un certain groupe de personnes. l'ensemble de données de formation ne contient que 6 variables (id est uniquement à des fins d'identification): id, age, income, gender, job category, monthly spend dans laquelle se monthly spendtrouve la variable …

8 modeling large-data overfitting clustering algorithms error spatial r regression predictive-models linear-model average measurement-error weighted-mean error-propagation python standard-error weighted-regression hypothesis-testing time-series machine-learning self-study arima regression correlation anova statistical-significance excel r regression distributions statistical-significance contingency-tables regression optimization measurement-error loss-functions image-processing java panel-data probability conditional-probability r lme4-nlme model-comparison time-series probability probability conditional-probability logistic multiple-regression model-selection r regression model-based-clustering svm feature-selection feature-construction time-series forecasting stationarity r distributions bootstrap r distributions estimation maximum-likelihood garch references probability conditional-probability regression logistic regression-coefficients model-comparison confidence-interval r regression r generalized-linear-model outliers robust regression classification categorical-data r association-rules machine-learning distributions posterior likelihood r hypothesis-testing normality-assumption missing-data convergence expectation-maximization regression self-study categorical-data regression simulation regression self-study self-study gamma-distribution modeling microarray synthetic-data

2

Gérer de bonnes performances sur les données de formation et de validation, mais de très mauvaises performances sur les données de test

J'ai un problème de régression avec 5-6k variables. Je divise mes données en 3 ensembles qui ne se chevauchent pas: formation, validation et tests. Je m'entraîne en utilisant uniquement l'ensemble d'entraînement et je génère de nombreux modèles de régression linéaire différents en choisissant un ensemble différent de 200 variables pour …

8 regression cross-validation model-selection r-squared overfitting

Questions marquées «overfitting»