Statistiques et Big Data auc

3

Quelles sont les différences entre AUC et F1-score?

F1-score est la moyenne harmonique de précision et de rappel. L'axe des y du rappel est le véritable taux positif (qui est également le rappel). Donc, parfois, les classificateurs peuvent avoir un faible rappel mais une ASC très élevée, qu'est-ce que cela signifie? Quelles sont les différences entre AUC et …

14 machine-learning precision-recall auc accuracy

1

Pourquoi utiliser le score de Gini normalisé au lieu de l'ASC comme évaluation?

La compétition de Kaggle La prévision de conducteur sûr de Porto Seguro utilise le score de Gini normalisé comme métrique d'évaluation, ce qui m'a rendu curieux des raisons de ce choix. Quels sont les avantages de l'utilisation du score de Gini normalisé au lieu des mesures les plus courantes, comme …

14 classification auc model-evaluation gini

3

Importance statistique (valeur p) pour comparer deux classificateurs en ce qui concerne l'ASC ROC (moyenne), la sensibilité et la spécificité

J'ai un ensemble de tests de 100 cas et deux classificateurs. J'ai généré des prédictions et calculé l'ASC ROC, la sensibilité et la spécificité pour les deux classificateurs. Question 1: Comment puis-je calculer la valeur de p pour vérifier si l'un est significativement meilleur que l'autre en ce qui concerne …

14 machine-learning statistical-significance roc auc sensitivity-specificity

3

Comment dériver l'interprétation probabiliste de l'AUC?

Pourquoi l'aire sous la courbe ROC a-t-elle une probabilité qu'un classificateur classe une instance "positive" choisie au hasard (à partir des prédictions récupérées) plus élevée qu'une instance "positive" choisie au hasard (à partir de la classe positive d'origine)? Comment prouver mathématiquement cette affirmation en utilisant l'intégrale, en donnant les CDF …

14 probability roc auc

1

Une régression logistique maximisant la vraisemblance maximise-t-elle aussi nécessairement l'ASC par rapport aux modèles linéaires?

Étant donné un ensemble de données avec des résultats binaires y∈{0,1}ny∈{0,1}ny\in\{0,1\}^n et une matrice prédictive X∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p} , le modèle de régression logistique standard estime les coefficients βMLEβMLE\beta_{MLE} qui maximisent la vraisemblance binomiale. Lorsque XXX est de rang complet βMLEβMLE\beta_{MLE} est unique; lorsque la séparation parfaite n'est pas présente, elle …

13 logistic maximum-likelihood auc

1

Comparaison de deux modèles lorsque les courbes ROC se croisent

Une mesure courante utilisée pour comparer deux modèles de classification ou plus consiste à utiliser l'aire sous la courbe ROC (AUC) comme moyen d'évaluer indirectement leur performance. Dans ce cas, un modèle avec une AUC plus grande est généralement interprété comme plus performant qu'un modèle avec une AUC plus petite. …

13 machine-learning classification roc auc model-evaluation

1

Évaluer la forêt aléatoire: OOB vs CV

Lorsque nous évaluons la qualité d'une forêt aléatoire, par exemple en utilisant l'AUC, est-il plus approprié de calculer ces quantités sur les échantillons hors sac ou sur l'ensemble de validation croisée? J'entends que le calculer sur les échantillons OOB donne une évaluation plus pessimiste, mais je ne vois pas pourquoi.

13 cross-validation random-forest auc

1

Connexions entre (d-prime) et AUC (Area Under the ROC Curve); hypothèses sous-jacentes

Dans l'apprentissage automatique, nous pouvons utiliser l' aire sous la courbe ROC (souvent abrégée AUC ou AUROC) pour résumer la capacité d'un système à discriminer entre deux catégories. Dans la théorie de la détection du signal, le (indice de sensibilité) est souvent utilisé dans un but similaire. Les deux sont …

13 machine-learning roc auc signal-detection d-prime

2

Le coefficient de dés est-il le même que la précision?

Je rencontre le coefficient de dés pour la similitude du volume ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) et la précision ( https://en.wikipedia.org/wiki/Accuracy_and_precision ). Il me semble que ces deux mesures sont identiques. Des pensées?

13 descriptive-statistics roc accuracy precision-recall auc

3

Mon modèle est-il bon, basé sur la valeur de la métrique de diagnostic (

J'ai monté mon modèle et j'essaie de comprendre si c'est bon. J'ai calculé les métriques recommandées pour l'évaluer ( R2R2R^2 / AUC / précision / erreur de prédiction / etc) mais je ne sais pas comment les interpréter. En bref, comment savoir si mon modèle est bon en fonction de …

12 goodness-of-fit r-squared accuracy auc diagnostic

2

optimisation auc vs logloss dans les problèmes de classification binaire

J'effectue une tâche de classification binaire où la probabilité de résultat est assez faible (environ 3%). J'essaie de décider s'il faut optimiser par AUC ou perte de journal. Autant que j'ai compris, l'AUC maximise la capacité du modèle à discriminer entre les classes tandis que la perte de log pénalise …

12 classification binary-data auc log-loss

2

Comparer les classificateurs basés sur AUROC ou la précision?

J'ai un problème de classification binaire et j'expérimente différents classificateurs dessus: je veux comparer les classificateurs. lequel est une meilleure mesure de l'ASC ou de la précision? Et pourquoi? Raondom Forest: AUC: 0.828 Accuracy: 79.6667 % SVM: AUC: 0.542 Accuracy: 85.6667 %

11 machine-learning classification auc

1

R / mgcv: Pourquoi les produits tenseurs te () et ti () produisent-ils des surfaces différentes?

Le mgcvpackage pour Ra deux fonctions pour ajuster les interactions des produits tensoriels: te()et ti(). Je comprends la division de base du travail entre les deux (ajustement d'une interaction non linéaire vs décomposition de cette interaction en effets principaux et interaction). Ce que je ne comprends pas, c'est pourquoi te(x1, …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

3

Qu'est-ce qu'une bonne ASC pour une courbe de rappel de précision?

Parce que j'ai un ensemble de données très déséquilibré (9% de résultats positifs), j'ai décidé qu'une courbe de rappel de précision était plus appropriée qu'une courbe ROC. J'ai obtenu la mesure sommaire analogue de l'aire sous la courbe PR (.49, si vous êtes intéressé), mais je ne sais pas comment …

11 classification precision-recall auc

1

Pourquoi Anova () et drop1 () ont-ils fourni des réponses différentes pour les GLMM?

J'ai un GLMM du formulaire: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Lorsque j'utilise drop1(model, test="Chi"), j'obtiens des résultats différents de ceux que j'utilise à Anova(model, type="III")partir du package de voiture ou summary(model). Ces deux derniers donnent les mêmes réponses. En utilisant un …

10 r anova glmm r mixed-model bootstrap sample-size cross-validation roc auc sampling stratification random-allocation logistic stata interpretation proportion r regression multiple-regression linear-model lm r cross-validation cart rpart logistic generalized-linear-model econometrics experiment-design causality instrumental-variables random-allocation predictive-models data-mining estimation contingency-tables epidemiology standard-deviation mean ancova psychology statistical-significance cross-validation synthetic-data poisson-distribution negative-binomial bioinformatics sequence-analysis distributions binomial classification k-means distance unsupervised-learning euclidean correlation chi-squared spearman-rho forecasting excel exponential-smoothing binomial sample-size r change-point wilcoxon-signed-rank ranks clustering matlab covariance covariance-matrix normal-distribution simulation random-generation bivariate standardization confounding z-statistic forecasting arima minitab poisson-distribution negative-binomial poisson-regression overdispersion probability self-study markov-process estimation maximum-likelihood classification pca group-differences chi-squared survival missing-data contingency-tables anova proportion

Questions marquées «auc»