Statistiques et Big Data cross-validation

1

Question sur la soustraction de la moyenne dans le train / valide / ensemble de test

Je fais du prétraitement des données et je vais ensuite construire un Convonets sur mes données. Ma question est: disons que j'ai un total de jeux de données avec 100 images, je calculais la moyenne pour chacune des 100 images, puis je la soustrais de chacune des images, puis je …

11 machine-learning cross-validation data-preprocessing

1

Nombre de composants principaux lors du prétraitement à l'aide de PCA dans le package caret dans R

J'utilise le caretpackage Rpour la formation des classificateurs SVM binaires. Pour réduire les fonctionnalités, je prétraitement avec PCA en utilisant la fonction intégrée preProc=c("pca")lors de l'appel train(). Voici mes questions: Comment le curseur sélectionne-t-il les principaux composants? Existe-t-il un nombre fixe de composants principaux sélectionnés? Les principales composantes sont-elles sélectionnées …

11 r machine-learning pca cross-validation caret

1

Est-il «juste» de placer une graine dans une régression forestière aléatoire pour obtenir la plus grande précision?

J'ai une régression aléatoire de la forêt construite en utilisant skl et je note que je donne des résultats différents basés sur la définition de la valeur aléatoire de la graine aléatoire. Si j'utilise LOOCV pour déterminer quelle graine fonctionne le mieux, est-ce une méthode valide?

10 cross-validation random-forest

1

Quand ne pas utiliser la validation croisée?

En lisant le site, la plupart des réponses suggèrent que la validation croisée devrait être effectuée dans les algorithmes d'apprentissage automatique. Cependant, alors que je lisais le livre "Understanding Machine Learning", j'ai vu qu'il y avait un exercice selon lequel il vaut parfois mieux ne pas utiliser la validation croisée. …

10 machine-learning self-study cross-validation

1

Régression forestière aléatoire pour la prédiction de séries chronologiques

J'essaie d'utiliser la régression RF pour faire des prédictions sur les performances d'une papeterie. J'ai des données minute par minute pour les intrants (taux et quantité de pâte de bois entrant dans etc ...) ainsi que pour les performances de la machine (papier produit, puissance tirée par la machine) et …

10 time-series forecasting cross-validation random-forest autoregressive

1

Comment faire une validation croisée avec cv.glmnet (régression LASSO en R)?

Je me demande comment aborder correctement la formation et le test d'un modèle LASSO à l'aide de glmnet dans R? Plus précisément, je me demande comment procéder si l'absence d'un ensemble de données de test externe nécessite que j'utilise la validation croisée (ou une autre approche similaire) pour tester mon …

10 r cross-validation glmnet lasso

3

Pourquoi l'estimation CV de l'erreur de test sous-estime-t-elle l'erreur de test réelle?

Je crois comprendre que l'estimation de validation croisée multipliée par k de l'erreur de test sous-estime généralement l'erreur de test réelle. Je ne comprends pas pourquoi c'est le cas. Je vois pourquoi l'erreur de formation est généralement inférieure à l'erreur de test - parce que vous entraînez le modèle sur …

10 cross-validation bias

1

Empêcher l'échec de Pareto de l'importance lissée (PSIS-LOO) d'échouer

J'ai récemment commencé à utiliser la validation croisée par échantillonnage d'importance non lissée de Pareto (PSIS-LOO), décrite dans ces articles: Vehtari, A. et Gelman, A. (2015). Pareto a lissé l'échantillonnage d'importance. préimpression arXiv ( lien ). Vehtari, A., Gelman, A., et Gabry, J. (2016). Évaluation pratique du modèle bayésien à …

10 machine-learning cross-validation mcmc pareto-distribution importance-sampling

1

Quelles méthodes existent pour régler les hyperparamètres SVM du noyau graphique?

J'ai quelques données qui existent sur un graphique . Les sommets appartiennent à l'une des deux classes , et je suis intéressé à former un SVM pour distinguer les deux classes. Un noyau approprié pour cela est le noyau de diffusion , où est le laplacien de et est un …

10 svm cross-validation kernel-trick graph-theory

1

La modélisation avec des forêts aléatoires nécessite-t-elle une validation croisée?

Pour autant que je l'ai vu, les opinions ont tendance à différer à ce sujet. Les meilleures pratiques dicteraient certainement l'utilisation de la validation croisée (surtout si l'on compare les RF avec d'autres algorithmes sur le même ensemble de données). D'un autre côté, la source d'origine indique que le fait …

10 cross-validation random-forest overfitting out-of-sample

2

Comment choisir la formation, la validation croisée et la taille des ensembles de tests pour les données de petite taille d'échantillon?

Supposons que j'ai un petit échantillon, par exemple N = 100 et deux classes. Comment dois-je choisir la formation, la validation croisée et la taille des ensembles de tests pour l'apprentissage automatique? Je choisirais intuitivement Taille de l'ensemble d'entraînement: 50 Ensemble de validation croisée taille 25, et Taille du test: …

10 machine-learning sampling svm cross-validation sample-size

1

La validation d'exclusion est-elle une meilleure approximation de «l'obtention de nouvelles données» que le CV k-fold?

J'ai repensé une réponse que j'ai donnée à une question il y a quelques semaines La validation croisée hold-out produit un ensemble de tests unique qui peut être utilisé à plusieurs reprises pour la démonstration. Nous semblons tous convenir qu'il s'agit à bien des égards d'une caractéristique négative, car l'ensemble …

10 cross-validation

2

Supériorité de LASSO sur la sélection vers l'avant / l'élimination vers l'arrière en termes d'erreur de prédiction de validation croisée du modèle

J'ai obtenu trois modèles réduits à partir d'un modèle complet original en utilisant sélection avant élimination en arrière Technique de pénalisation L1 (LASSO) Pour les modèles obtenus en utilisant la sélection vers l'avant / l'élimination vers l'arrière, j'ai obtenu l'estimation de validation croisée de l'erreur de prédiction en utilisant le …

10 cross-validation model-selection lasso stepwise-regression

3

La sélection des fonctionnalités doit-elle être effectuée uniquement sur les données d'entraînement (ou toutes les données)?

La sélection des fonctionnalités doit-elle être effectuée uniquement sur les données d'entraînement (ou toutes les données)? J'ai parcouru des discussions et des articles tels que Guyon (2003) et Singhi et Liu (2006) , mais je ne suis toujours pas sûr de la bonne réponse. La configuration de mon expérience est …

10 dataset cross-validation experiment-design feature-selection

1

Comparaison des distributions de performances de généralisation

Disons que j'ai deux méthodes d'apprentissage pour un problème de classification , et , et que j'évalue leurs performances de généralisation avec quelque chose comme la validation croisée répétée ou le bootstrap. De ce processus, j'obtiens une distribution des scores et pour chaque méthode à travers ces répétitions (par exemple …

10 cross-validation model-selection

Questions marquées «cross-validation»