Statistiques et Big Data cross-validation

2

J'utilise 2 types de régression logistique - l'un est le type simple, pour la classification binaire, et l'autre est la régression logistique ordinale. Pour calculer la précision de la première, j'ai utilisé la validation croisée, où j'ai calculé l'AUC pour chaque pli et ensuite calculé l'ASC moyenne. Comment puis-je le …

9 logistic cross-validation roc auc ordered-logit

2

Validation croisée pour les modèles mixtes?

Mon collègue et moi ajustons une gamme de modèles d'effets mixtes linéaires et non linéaires dans R. On nous demande d'effectuer une validation croisée sur les modèles ajustés afin que l'on puisse vérifier que les effets observés sont relativement généralisables. C'est normalement une tâche triviale, mais dans notre cas, nous …

9 mixed-model cross-validation

2

Comment appliquer correctement la validation croisée dans le contexte de la sélection des paramètres d'apprentissage pour les machines à vecteurs de support?

Le merveilleux paquet libsvm fournit une interface python et un fichier "easy.py" qui recherche automatiquement les paramètres d'apprentissage (coût et gamma) qui maximisent la précision du classificateur. Dans un ensemble de paramètres d'apprentissage candidat donné, la précision est opérationnalisée par la validation croisée, mais j'ai l'impression que cela sape l'objectif …

9 cross-validation svm

1

Dois-je réorganiser mes données?

Nous avons un ensemble d'échantillons biologiques qui était assez cher à obtenir. Nous avons soumis ces échantillons à une série de tests pour générer des données qui sont utilisées pour construire un modèle prédictif. À cette fin, nous avons divisé les échantillons en ensembles d'apprentissage (70%) et d'essai (30%). Nous …

9 classification modeling experiment-design cross-validation bootstrap

2

Calculer la courbe ROC pour les données

Donc, j'ai 16 essais dans lesquels j'essaie d'authentifier une personne à partir d'un trait biométrique en utilisant Hamming Distance. Mon seuil est fixé à 3,5. Mes données sont ci-dessous et seul l'essai 1 est un vrai positif: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 …

9 mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

2

L'implémentation de la validation croisée influence-t-elle ses résultats?

Comme vous le savez, il existe deux types populaires de validation croisée, le pliage en K et le sous-échantillonnage aléatoire (comme décrit dans Wikipedia ). Néanmoins, je sais que certains chercheurs rédigent et publient des articles où quelque chose qui est décrit comme un CV plié en K est en …

9 machine-learning cross-validation

1

Régression linéaire: comment privilégier les paramètres moins «sensibles»?

J'ai un modèle de régression simple ( y = param1 * x1 + param2 * x2 ). Lorsque j'adapte le modèle à mes données, je trouve deux bonnes solutions: La solution A, params = (2,7), est la meilleure sur l' ensemble d'entraînement avec RMSE = 2,5 MAIS! Solution B params …

9 regression cross-validation overfitting sensitivity-analysis

2

Optimiser SVM pour éviter les faux négatifs dans la classification binaire

Je forme un classificateur binaire SVM à l'aide de Scikit learn. En raison de la nature de mon problème, je dois éviter les faux négatifs. Comme rien n'est gratuit, je suis d'accord pour obtenir un taux plus élevé de faux positifs afin de réduire le nombre de faux négatifs. Comment …

9 machine-learning cross-validation svm python scikit-learn

1

Techniques pour détecter le sur-ajustement

J'ai eu un entretien d'embauche pour un poste en science des données. Au cours de l'entretien, on m'a demandé ce que je dois faire pour m'assurer que le modèle n'est pas trop adapté. Ma première réponse a été d'utiliser la validation croisée pour évaluer les performances du modèle. Cependant, l'intervieweur …

9 cross-validation regularization overfitting

3

Les données d'entraînement sont déséquilibrées - mais mon ensemble de validation devrait-il l'être également?

J'ai étiqueté des données composées de 10000 exemples positifs et 50000 exemples négatifs, ce qui donne un total de 60000 exemples. Évidemment, ces données sont déséquilibrées. Disons maintenant que je veux créer mon ensemble de validation et que je souhaite utiliser 10% de mes données pour le faire. Ma question …

9 machine-learning neural-networks cross-validation dataset unbalanced-classes

2

Bonferroni Correction et apprentissage automatique

Dans les études de psychologie, j'ai appris que nous devrions utiliser la méthode de Bonferroni pour ajuster le niveau de signification lors du test de plusieurs hypothèses sur un seul ensemble de données. Actuellement, je travaille avec des méthodes d'apprentissage automatique telles que les machines à vecteurs de support ou …

9 machine-learning cross-validation svm overfitting bonferroni

1

Sélection du modèle de série chronologique: AIC vs SSE hors échantillon et leur équivalence

L'AIC est fréquemment recommandé comme critère pour comparer les modèles de prévision de séries chronologiques. Voir par exemple ceci dans le contexte des modèles de régression dynamique : L'AIC peut être calculé pour le modèle final et cette valeur peut être utilisée pour déterminer les meilleurs prédicteurs. C'est-à-dire que la …

9 time-series cross-validation model-selection arima aic

1

Comment gérer les facteurs aux niveaux rares en validation croisée?

Supposons que dans une analyse de régression dans R, j'ai une variable indépendante de type de facteur avec 3 niveaux dans mon jeu de données de train. Mais dans l'ensemble de données de test, la même variable de facteur a 5 niveaux. Par conséquent, je ne peux pas prédire les …

9 r regression categorical-data cross-validation rare-events

2

Dans la validation croisée k-fold, le sous-échantillon de formation comprend-il un ensemble de tests?

Dans cette page Wikipédia dans la sous-section pour la validation croisée de pli en K, il est dit "Dans la validation croisée de pli en K, l'échantillon d'origine est divisé de manière aléatoire en k sous-échantillons de taille égale. Parmi les k sous-échantillons, un seul sous-échantillon est conservé comme données …

9 cross-validation

2

Signification de l'erreur de test conditionnelle par rapport à l'erreur de test attendue dans la validation croisée

Mon manuel sur la validation croisée est Les éléments de l'apprentissage statistique par Hastie et al. (2e éd.). Dans les sections 7.10.1 et 7.12, ils parlent de la différence entre l'erreur de test conditionnelleE(X∗,Y∗)[L(Y,f^(X))|τ]E(X∗,Y∗)[L(Y,f^(X))|τ]E_{(X^*,Y^*)}[L(Y, \hat{f}(X))|\tau] et erreur de test attendue Eτ[E(X∗,Y∗)[L(Y,f^(X))|τ]].Eτ[E(X∗,Y∗)[L(Y,f^(X))|τ]].E_\tau [E_{(X^*,Y^*)}[L(Y, \hat{f}(X))|\tau]]. Ici ττ\tau est l'ensemble de données de …

9 cross-validation definition

Questions marquées «cross-validation»