Statistiques et Big Data overfitting

2

Peut-on (théoriquement) former un réseau neuronal avec moins d'échantillons d'entraînement que de poids?

Tout d'abord: je sais, il n'y a pas de nombre général de taille d'échantillon requis pour former un réseau neuronal. Cela dépend de trop de facteurs comme la complexité de la tâche, le bruit dans les données, etc. Et plus j'aurai d'échantillons de formation, meilleur sera mon réseau. Mais je …

12 neural-networks overfitting underdetermined

1

Test exact de Fisher et distribution hypergéométrique

Je voulais mieux comprendre le test exact du pêcheur, j'ai donc imaginé l'exemple de jouet suivant, où f et m correspond à l'homme et à la femme, et n et y correspond à la "consommation de soda" comme ceci: > soda_gender f m n 0 5 y 5 0 Évidemment, …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

1

Comment sélectionner le meilleur ajustement sans données sur-ajustées? Modélisation d'une distribution bimodale avec N fonctions normales, etc.

J'ai une distribution de valeurs évidemment bimodale, que je cherche à adapter. Les données peuvent être adaptées à 2 fonctions normales (bimodales) ou à 3 fonctions normales. De plus, il existe une raison physique plausible pour ajuster les données avec 3. Plus il y a de paramètres introduits, plus l'ajustement …

11 distributions normal-distribution model-selection overfitting

4

Sur-ajustement avec des classificateurs linéaires

Aujourd'hui, notre professeur a déclaré en classe qu '"il n'est pas possible de sur-équiper les classificateurs linéaires". Je pense que c'est faux, car même les classificateurs linéaires peuvent être sensibles aux valeurs aberrantes dans l'ensemble de formation - prenez par exemple une machine à vecteur de support à marge dure: …

10 classification overfitting

1

La modélisation avec des forêts aléatoires nécessite-t-elle une validation croisée?

Pour autant que je l'ai vu, les opinions ont tendance à différer à ce sujet. Les meilleures pratiques dicteraient certainement l'utilisation de la validation croisée (surtout si l'on compare les RF avec d'autres algorithmes sur le même ensemble de données). D'un autre côté, la source d'origine indique que le fait …

10 cross-validation random-forest overfitting out-of-sample

1

Random Forest ne peut pas suréquiper?

J'ai lu de la littérature que les forêts aléatoires ne peuvent pas saturer. Bien que cela semble génial, cela semble trop beau pour être vrai. Est-il possible pour les RF de sur-équiper?

10 random-forest overfitting

2

Explication lucide de la «stabilité numérique de l'inversion matricielle» dans la régression des crêtes et son rôle dans la réduction de la surajustement

Je comprends que nous pouvons utiliser la régularisation dans un problème de régression des moindres carrés comme w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] et que ce problème a une solution de forme fermée comme: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Nous voyons que dans la 2e équation, la régularisation consiste …

10 regression regularization ridge-regression overfitting matrix-inverse

1

Un modèle saturé est-il un cas particulier d'un modèle suréquipé?

J'essaie de comprendre ce qu'est un modèle saturé. AFAIK c'est quand vous avez autant de fonctionnalités que d'observations. Pouvons-nous dire qu'un modèle saturé est un cas particulier d'un modèle extrêmement surajusté?

10 overfitting

1

Le biais est-il le même que le sous-ajustement et la variance est-il le même que le sur-ajustement?

Cela pourrait être une question fondamentale: quelle est la différence entre le biais et le sous-ajustement? Et, par analogie, quelle est la différence entre la variance et le sur-ajustement? Les termes de chaque paire signifient-ils la même chose? Sinon, quelle est la différence?

10 variance bias overfitting model-evaluation

1

Pourquoi l'élimination en arrière est-elle justifiée lors d'une régression multiple?

N'entraîne-t-il pas un sur-ajustement? Mes résultats seraient-ils plus fiables si j'ajoutais une procédure de jack-knife ou de bootstrap dans le cadre de l'analyse?

9 multiple-regression bootstrap reliability overfitting jackknife

2

Rétro-test ou validation croisée lorsque le processus de création de modèle était interactif

J'ai quelques modèles prédictifs dont je voudrais tester les performances (c.-à-d. Prendre mon jeu de données, le «rembobiner» à un point antérieur dans le temps et voir comment le modèle aurait fonctionné de manière prospective). Le problème est que certains de mes modèles ont été construits via un processus interactif. …

9 cross-validation modeling outliers splines overfitting

1

Régression linéaire: comment privilégier les paramètres moins «sensibles»?

J'ai un modèle de régression simple ( y = param1 * x1 + param2 * x2 ). Lorsque j'adapte le modèle à mes données, je trouve deux bonnes solutions: La solution A, params = (2,7), est la meilleure sur l' ensemble d'entraînement avec RMSE = 2,5 MAIS! Solution B params …

9 regression cross-validation overfitting sensitivity-analysis

1

Techniques pour détecter le sur-ajustement

J'ai eu un entretien d'embauche pour un poste en science des données. Au cours de l'entretien, on m'a demandé ce que je dois faire pour m'assurer que le modèle n'est pas trop adapté. Ma première réponse a été d'utiliser la validation croisée pour évaluer les performances du modèle. Cependant, l'intervieweur …

9 cross-validation regularization overfitting

2

Bonferroni Correction et apprentissage automatique

Dans les études de psychologie, j'ai appris que nous devrions utiliser la méthode de Bonferroni pour ajuster le niveau de signification lors du test de plusieurs hypothèses sur un seul ensemble de données. Actuellement, je travaille avec des méthodes d'apprentissage automatique telles que les machines à vecteurs de support ou …

9 machine-learning cross-validation svm overfitting bonferroni

1

Définition de la complexité d'un arbre dans xgboost

En faisant des recherches sur l'algorithme xgboost, j'ai parcouru la documentation . Dans cette approche, les arbres sont régularisés en utilisant la définition de la complexité Ω ( f) = γT+12λ∑j = 1Tw2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) = \gamma T + \frac12 \lambda \sum_{j=1}^T w_j^2 où γγ\gamma et λλ\lambda sont des paramètres, TTT …

9 cart regularization boosting gradient-descent overfitting

Questions marquées «overfitting»