Statistiques et Big Data cross-validation

11

Y a-t-il une raison de préférer l'AIC ou le BIC à l'autre?

L'AIC et le BIC sont deux méthodes d'évaluation de l'adéquation du modèle pénalisées pour le nombre de paramètres estimés. Si je comprends bien, BIC pénalise davantage les modèles pour les paramètres libres que l’AIC. Au-delà d'une préférence basée sur la rigueur des critères, existe-t-il d'autres raisons de préférer AIC à …

222 modeling aic cross-validation bic model-selection

6

Comment choisir un modèle prédictif après validation croisée des k-fold?

Je me demande comment choisir un modèle prédictif après la validation croisée des plis en K. Cela peut être mal formulé, alors laissez-moi vous expliquer plus en détail: chaque fois que je lance la validation croisée des plis en K, j'utilise K sous-ensembles des données d'apprentissage et finis avec K …

149 cross-validation model-selection

5

Formation avec l'ensemble de données complet après validation croisée?

Est-ce toujours une bonne idée de s'entraîner avec l'ensemble de données complet après validation croisée ? En d'autres termes, est-il possible de s'entraîner avec tous les échantillons de mon jeu de données sans pouvoir vérifier si cet ajustement est trop important ? Quelques informations sur le problème: Disons que j'ai …

140 machine-learning cross-validation model-selection

4

Choix de K dans la validation croisée du pli K

Je me sers de la quelques fois la validation croisée de d'évaluer la performance de certains algorithmes d'apprentissage, mais je l' ai toujours été perplexe quant à la façon dont je choisir la valeur de .KKKKKK J'ai souvent vu et utilisé une valeur de , mais cela me semble totalement …

136 machine-learning classification cross-validation

5

Différences entre validation croisée et amorçage pour estimer l'erreur de prédiction

J'aimerais connaître votre avis sur les différences entre la validation croisée et l’amorçage pour estimer l’erreur de prédiction. Est-ce qu'on travaille mieux pour de petites tailles de données ou de grands ensembles de données?

103 cross-validation predictive-models bootstrap

3

Validation croisée imbriquée pour la sélection du modèle

Comment utiliser la validation croisée imbriquée pour la sélection du modèle ? D'après ce que j'ai lu en ligne, les CV imbriqués fonctionnent comme suit: Il y a la boucle CV interne, où nous pouvons effectuer une recherche sur la grille (par exemple, exécuter un pli en K pour chaque …

92 cross-validation model-selection

7

Biais et variance dans la validation croisée avec un pli en K par rapport à un pli

Comment différentes méthodes de validation croisée se comparent-elles en termes de variance et de biais du modèle? Ma question est en partie motivée par ce fil: nombre optimal de plis en validation croisée de: est leave-one-out CV toujours le meilleur choix? KKKK. La réponse suggérée ici suggère que les modèles …

83 machine-learning variance cross-validation bias bias-variance-tradeoff

5

Validation croisée en anglais simplifié?

Comment décririez-vous la validation croisée à une personne sans formation en analyse de données?

77 cross-validation

3

Sélection des fonctionnalités et validation croisée

Récemment, j'ai beaucoup lu sur ce site (@Aniko, @Dikran Marsupial, @Erik) et ailleurs sur le problème du surajustement avec une validation croisée - (Smialowski et al 2010, Bioinformatics, Hastie, Éléments d'apprentissage statistique). Il est suggéré que toute sélection de caractéristique supervisée (utilisant la corrélation avec les étiquettes de classe) effectuée …

76 cross-validation feature-selection

6

Sélection des fonctionnalités pour le modèle «final» lors de la validation croisée en apprentissage automatique

Je suis un peu confus au sujet de la sélection des fonctionnalités et de l'apprentissage automatique, et je me demandais si vous pouviez m'aider. J'ai un jeu de données de micropuces qui est classé en deux groupes et qui comporte des milliers de fonctionnalités. Mon objectif est d'obtenir un petit …

76 machine-learning classification cross-validation feature-selection genetics

5

Utilisation de la validation croisée par pli en k pour la sélection de modèles en série chronologique

Question: Je veux être sûr de quelque chose, l’utilisation de la validation croisée à plis multiples avec des séries chronologiques est-elle simple, ou faut-il être particulièrement attentif avant de l’utiliser? Contexte: Je modélise une série chronologique sur 6 ans (avec une chaîne semi-markovienne), avec un échantillon de données toutes les …

70 time-series modeling cross-validation

1

Comment diviser le jeu de données pour la validation croisée, la courbe d'apprentissage et l'évaluation finale?

Quelle est la stratégie appropriée pour diviser l’ensemble de données? Je demande des commentaires sur l'approche suivante (pas sur les paramètres individuels comme test_sizeou n_iter, mais si je X, y, X_train, y_train, X_testet de façon y_testappropriée et si la séquence est logique): (étendant cet exemple à partir de la documentation …

70 machine-learning cross-validation python scikit-learn

4

Comment accorder les hyperparamètres des arbres xgboost?

J'ai une classe de données déséquilibrées et je veux régler les hyperparamètres du tress renforcé à l'aide de xgboost. Des questions Existe-t-il un équivalent de gridsearchcv ou randomsearchcv pour xgboost? Si non, quelle est l'approche recommandée pour ajuster les paramètres de xgboost?

69 machine-learning cross-validation xgboost boosting

8

Comment puis-je m'assurer que les données de test ne fuient pas dans les données d'entraînement?

Supposons que quelqu'un construise un modèle prédictif, mais que quelqu'un ne connaisse pas nécessairement les principes appropriés des statistiques ou de l'apprentissage automatique. Peut-être aidons-nous cette personne dans son apprentissage, ou peut-être utilise-t-elle une sorte de progiciel dont l'utilisation requiert un minimum de connaissances. Maintenant, cette personne pourrait très bien …

60 machine-learning classification predictive-models cross-validation out-of-sample

10

Erreur de validation inférieure à l'erreur d'apprentissage?

J'ai trouvé deux questions ici et ici à propos de ce problème, mais il n'y a pas encore de réponse ou d'explication évidente. J'applique le même problème lorsque l'erreur de validation est inférieure à l'erreur d'apprentissage dans mon réseau de neurones à convolution. Qu'est-ce que ça veut dire?

58 machine-learning mathematical-statistics neural-networks cross-validation

Questions marquées «cross-validation»