Statistiques et Big Data validation

11

Quelle est la différence entre un ensemble de test et un ensemble de validation?

J'ai trouvé cela déroutant lorsque j'utilise la boîte à outils des réseaux de neurones dans Matlab. Il a divisé le jeu de données brutes en trois parties: set d'entraînement ensemble de validation ensemble d'essai Je remarque que dans de nombreux algorithmes d’entraînement ou d’apprentissage, les données sont souvent divisées en …

431 machine-learning validation

10

Validation en attente et validation croisée

À mes yeux, il semble que la validation en attente est inutile. En d’autres termes, scinder le jeu de données original en deux parties (formation et test) et utiliser le score de test comme mesure de généralisation est quelque peu inutile. La validation croisée des plis en K semble donner …

54 machine-learning cross-validation validation

2

Comment tirer des conclusions valables du «big data»?

Le "big data" est omniprésent dans les médias. Tout le monde dit que le "big data" est le gros problème pour 2012, par exemple, un sondage KDNuggets sur des sujets d'actualité pour 2012 . Cependant, j'ai de profondes préoccupations ici. Avec le Big Data, tout le monde semble content d’obtenir …

40 data-mining dataset large-data validation

3

Comment choisir une méthode de clustering? Comment valider une solution de cluster (pour justifier le choix de la méthode)?

L’un des problèmes les plus importants de l’analyse par grappes est qu’il peut arriver que nous devions tirer des conclusions différentes lorsque nous nous basons sur différentes méthodes de classification utilisées (y compris différentes méthodes de couplage dans une classification hiérarchique). J'aimerais connaître votre opinion à ce sujet - quelle …

35 clustering validation model-evaluation hierarchical-clustering

4

Comment utilisez-vous l'ensemble de données «test» après la validation croisée?

Dans certaines conférences et tutoriels que j'ai vus, ils suggèrent de diviser vos données en trois parties: formation, validation et test. Mais il n'est pas clair comment le jeu de données de test doit être utilisé, ni comment cette approche est meilleure que la validation croisée sur l'ensemble des données. …

25 machine-learning cross-validation validation

2

Le modèle final (prêt pour la production) doit-il être formé sur des données complètes ou simplement sur un ensemble de formation?

Supposons que j'ai formé plusieurs modèles sur l'ensemble d'entraînement, choisissez le meilleur en utilisant l'ensemble de validation croisée et les performances mesurées sur l'ensemble d'essai. Alors maintenant, j'ai un dernier meilleur modèle. Dois-je le recycler sur toutes mes données disponibles ou sur la solution d'expédition formée uniquement sur le kit …

23 machine-learning validation regression-strategies

4

En tant que réviseur, puis-je justifier que les données et le code soient mis à disposition même si le journal ne le fait pas?

Comme la science doit être reproductible, par définition, il est de plus en plus reconnu que les données et le code sont un élément essentiel de la reproductibilité, comme discuté par la table ronde de Yale pour le partage des données et du code . En examinant un manuscrit pour …

23 dataset validation reproducible-research journals

3

Avons-nous besoin d'un ensemble de test lors de l'utilisation de la validation croisée k-fold?

J'ai lu sur la validation k-fold, et je veux m'assurer de comprendre comment cela fonctionne. Je sais que pour la méthode d'exclusion, les données sont divisées en trois ensembles, et l'ensemble de test n'est utilisé qu'à la toute fin pour évaluer les performances du modèle, tandis que l'ensemble de validation …

21 cross-validation validation out-of-sample

4

Quelle est la gravité du réglage hyperparamétrique en dehors de la validation croisée?

Je sais que le réglage de l'hyperparamètre en dehors de la validation croisée peut conduire à des estimations biaisées de la validité externe, car l'ensemble de données que vous utilisez pour mesurer les performances est le même que celui que vous avez utilisé pour régler les fonctionnalités. Ce que je …

20 cross-validation validation hyperparameter

2

Pensée bayésienne sur le sur-ajustement

J'ai consacré beaucoup de temps au développement de méthodes et de logiciels pour valider des modèles prédictifs dans le domaine statistique fréquentiste traditionnel. En mettant davantage d'idées bayésiennes en pratique et en enseignant, je vois certaines différences clés à adopter. Premièrement, la modélisation prédictive bayésienne demande à l'analyste de réfléchir …

20 bayesian cross-validation predictive-models validation regression-strategies

3

Comment pouvons-nous juger de l'exactitude des prédictions de Nate Silver?

Premièrement, il donne la probabilité des résultats. Ainsi, par exemple, ses prédictions pour les élections américaines sont actuellement de 82% pour Clinton contre 18% pour Trump. Maintenant, même si Trump gagne, comment puis-je savoir que ce n'était pas seulement les 18% du temps qu'il aurait dû gagner? L'autre problème est …

19 forecasting prediction validation accuracy scoring-rules

3

Puis-je utiliser un petit ensemble de validation?

Je comprends le raisonnement derrière la division des données en un ensemble de test et un ensemble de validation. Je comprends également que la taille de la scission dépendra de la situation mais variera généralement de 50/50 à 90/10. J'ai construit un RNN pour corriger l'orthographe et commencer avec un …

15 machine-learning neural-networks validation

1

Quelle est l'intuition derrière les échantillons échangeables sous l'hypothèse nulle?

Les tests de permutation (également appelés test de randomisation, test de re-randomisation ou test exact) sont très utiles et s'avèrent utiles lorsque l'hypothèse de distribution normale requise par exemple t-testn'est pas remplie et lorsque la transformation des valeurs par classement des un test non paramétrique comme Mann-Whitney-U-testcela entraînerait la perte …

15 hypothesis-testing permutation-test exchangeability r statistical-significance loess data-visualization normal-distribution pdf ggplot2 kernel-smoothing probability self-study expected-value normal-distribution prior correlation time-series regression heteroscedasticity estimation estimators fisher-information data-visualization repeated-measures binary-data panel-data mathematical-statistics coefficient-of-variation normal-distribution order-statistics regression machine-learning one-class probability estimators forecasting prediction validation finance measurement-error variance mean spatial monte-carlo data-visualization boxplot sampling uniform chi-squared goodness-of-fit probability mixture theory gaussian-mixture regression statistical-significance p-value bootstrap regression multicollinearity correlation r poisson-distribution survival regression categorical-data ordinal-data ordered-logit regression interaction time-series machine-learning forecasting cross-validation binomial multiple-comparisons simulation false-discovery-rate r clustering frequency wilcoxon-mann-whitney wilcoxon-signed-rank r svm t-test missing-data excel r numerical-integration r random-variable lme4-nlme mixed-model weighted-regression power-law errors-in-variables machine-learning classification entropy information-theory mutual-information

2

Quelle est la procédure de «validation bootstrap» (alias «rééchantillonnage de validation croisée»)?

"Validation Bootstrap" / "validation croisée de rééchantillonnage" est nouveau pour moi, mais a été discuté par la réponse à cette question . Je suppose que cela implique 2 types de données: les données réelles et les données simulées, où un ensemble donné de données simulées est généré à partir des …

15 cross-validation bootstrap validation resampling

1

logloss vs gini / auc

J'ai formé deux modèles (classificateurs binaires utilisant h2o AutoML) et je veux en sélectionner un à utiliser. J'ai les résultats suivants: model_id auc logloss logloss_train logloss_valid gini_train gini_valid DL_grid_1 0.542694 0.287469 0.092717 0.211956 0.872932 0.312975 DL_grid_2 0.543685 0.251431 0.082616 0.186196 0.900955 0.312662 les colonnes aucet loglosssont les métriques de validation …

15 model-selection validation auc gini log-loss

Questions marquées «validation»