Statistiques et Big Data cross-validation

2

Variation élevée de la validation croisée avec absence

J'ai lu maintes et maintes fois que la validation croisée "Leave-one-out" a une grande variance en raison du grand chevauchement des plis de formation. Cependant, je ne comprends pas pourquoi: les performances de la validation croisée ne devraient-elles pas être très stables (faible variance) exactement parce que les ensembles d'entraînement …

15 variance cross-validation bias

1

Et si la précision de validation était élevée mais la précision de test faible dans la recherche?

J'ai une question spécifique sur la validation dans la recherche d'apprentissage automatique. Comme nous le savons, le régime d'apprentissage automatique demande aux chercheurs de former leurs modèles sur les données de formation, de choisir parmi les modèles candidats par ensemble de validation et de rendre compte de la précision sur …

15 machine-learning cross-validation reproducible-research

2

Jackknife contre LOOCV

Y a-t-il vraiment une différence entre le jackknife et laisser une validation croisée? La procédure semble identique ai-je raté quelque chose?

15 cross-validation jackknife

3

Comment choisir un nombre optimal de facteurs latents dans la factorisation matricielle non négative?

Étant donné une matrice Vm×nVm×n\mathbf V^{m \times n} , la factorisation matricielle non négative (NMF) trouve deux matrices non négatives Wm×kWm×k\mathbf W^{m \times k} et Hk×nHk×n\mathbf H^{k \times n} (c'est-à-dire avec tous les éléments ≥0≥0\ge 0 ) pour représenter la matrice décomposée comme: V≈WH,V≈WH,\mathbf V \approx \mathbf W\mathbf H, WW\mathbf …

15 cross-validation unsupervised-learning latent-variable matrix-decomposition nnmf

1

Quelle méthode de comparaison multiple utiliser pour un modèle lmer: lsmeans ou glht?

J'analyse un ensemble de données à l'aide d'un modèle à effets mixtes avec un effet fixe (condition) et deux effets aléatoires (participant en raison de la conception et de la paire du sujet). Le modèle a été généré avec le lme4package: exp.model<-lmer(outcome~condition+(1|participant)+(1|pair),data=exp). Ensuite, j'ai effectué un test de rapport de …

15 r repeated-measures multiple-comparisons post-hoc lsmeans bayesian posterior marginal integral anova time-series regularization machine-learning pca computational-statistics references inference regression cross-validation python random-forest chi-squared spearman-rho r machine-learning confidence-interval bagging clustering feature-selection model-selection bic hypothesis-testing kurtosis r regression residuals terminology

2

Pourquoi la fonction d'amorçage scikit-learn rééchantillonne-t-elle l'ensemble de test?

Lors de l'utilisation du bootstrap pour l'évaluation de modèles, j'ai toujours pensé que les échantillons hors sac étaient directement utilisés comme ensemble de test. Cependant, cela ne semble pas être le cas pour l' approche obsolète de scikit-learnBootstrap , qui semble construire l'ensemble de test à partir d'un dessin avec …

15 cross-validation bootstrap random-forest scikit-learn bagging

3

Comment augmenter les données et valider le train?

Je fais la classification d'images en utilisant l'apprentissage automatique. Supposons que j'ai des données d'entraînement (images) et que je vais diviser les données en ensembles d'apprentissage et de validation. Et je veux aussi augmenter les données (produire de nouvelles images à partir des images originales) par des rotations aléatoires et …

14 machine-learning classification cross-validation dataset data-augmentation

3

Formation, test, validation dans un problème d'analyse de survie

J'ai parcouru divers fils ici, mais je ne pense pas que ma question exacte soit répondue. J'ai un ensemble de données d'environ 50 000 étudiants et leur temps d'abandon. Je vais effectuer une régression des risques proportionnels avec un grand nombre de covariables potentielles. Je vais également faire une régression …

14 cross-validation survival train

4

Quelles sont les études de cas dans la recherche sur les politiques de santé publique où des études ou des modèles peu fiables / confus / invalides ont été mal utilisés?

Je rédige une revue de la littérature sur un problème de santé publique actuel où les données sont confondues: Quelles sont les études de cas historiques courantes utilisées dans l'enseignement de la santé publique / épidémiologie où des relations ou des inférences invalides ou confondues ont été intentionnellement ou erronément …

14 cross-validation reliability epidemiology biostatistics

2

Optimisation: la racine de tout mal dans les statistiques?

J'ai déjà entendu l'expression suivante: "L'optimisation est la racine de tout mal dans les statistiques". Par exemple, la première réponse dans ce fil fait cette déclaration en référence au danger d'optimiser trop agressivement lors de la sélection du modèle. Ma première question est la suivante: cette citation est-elle attribuable à …

14 cross-validation optimization overfitting

6

Comment diviser un ensemble de données pour effectuer une validation croisée 10 fois

Verrouillé . Cette question et ses réponses sont verrouillées car la question est hors sujet mais a une signification historique. Il n'accepte pas actuellement de nouvelles réponses ou interactions. Maintenant que j'ai une Rtrame de données (formation), quelqu'un peut-il me dire comment diviser au hasard cet ensemble de données pour …

14 cross-validation

3

Quelle est la fonction de coût dans cv.glm dans le package de démarrage de R?

Je fais une validation croisée en utilisant la méthode du congé-un. J'ai une réponse binaire et j'utilise le package de démarrage pour R et la fonction cv.glm . Mon problème est que je ne comprends pas bien la partie "coût" de cette fonction. D'après ce que je peux comprendre, c'est …

14 r cross-validation

2

Commande de séries chronologiques pour l'apprentissage automatique

Après avoir lu l' un des "Conseils de recherche" de RJ Hyndman sur la validation croisée et les séries chronologiques, je suis revenu à une vieille question que je vais essayer de formuler ici. L'idée est que dans les problèmes de classification ou de régression, l'ordre des données n'est pas …

14 time-series machine-learning cross-validation

2

Scikit bonne façon d'étalonner les classificateurs avec CalibratedClassifierCV

Scikit a CalibratedClassifierCV , qui nous permet d'étalonner nos modèles sur une paire X, y particulière. Il indique également clairement quedata for fitting the classifier and for calibrating it must be disjoint. S'ils doivent être disjoints, est-il légitime de former le classificateur avec les éléments suivants? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, …

14 cross-validation scikit-learn validation train calibration

2

AIC, BIC et GCV: quel est le meilleur pour prendre une décision dans les méthodes de régression pénalisées?

Ma compréhension générale est que l' AIC traite de l'arbitrage entre la qualité de l'ajustement du modèle et la complexité du modèle. A jeC= 2 k - 2 l n ( L )UNEjeC=2k-2ln(L)AIC =2k -2ln(L) = nombre de paramètres dans le modèlekkk = vraisemblanceLLL Le critère d'information bayésien BIC est …

14 cross-validation lasso aic ridge-regression bic

Questions marquées «cross-validation»