Statistiques et Big Data precision-recall

3

ROC vs courbes de précision et de rappel

Je comprends les différences formelles qui les séparent. Ce que je veux savoir, c’est quand il est plus pertinent d’utiliser l’un par rapport à l’autre. Fournissent-ils toujours des informations complémentaires sur les performances d'un système de classification / détection donné? Quand est-il raisonnable de leur fournir les deux, par exemple, …

159 machine-learning roc precision-recall

3

Comment calculez-vous la précision et le rappel pour la classification multiclass à l'aide de la matrice de confusion?

Je me demande comment calculer la précision et se rappeler en utilisant une matrice de confusion pour un problème de classification multi-classes. Plus précisément, une observation ne peut être affectée qu'à sa classe / étiquette la plus probable. Je voudrais calculer: Précision = TP / (TP + FP) Rappel = …

92 machine-learning classification precision-recall multi-class

8

Comment calculer la précision / rappel pour la classification multiclass-multilabel?

Je me demande comment calculer les mesures de précision et de rappel pour la classification multiclass à étiquettes multiples, c'est-à-dire une classification dans laquelle il existe plus de deux étiquettes et où chaque instance peut avoir plusieurs étiquettes?

72 machine-learning classification precision-recall multi-class

9

Comment interpréter les valeurs de mesure F?

J'aimerais savoir comment interpréter une différence de valeurs de f-mesures. Je sais que la f-mesure est une moyenne équilibrée entre précision et rappel, mais je m'interroge sur la signification pratique d'une différence entre les F-mesures. Par exemple, si un classificateur C1 a une précision de 0,4 et un autre classificateur …

41 classification precision-recall

4

Optimisation des courbes précision-rappel sous déséquilibre de classe

J'ai une tâche de classification où j'ai un certain nombre de prédicteurs (dont l'un est le plus informatif), et j'utilise le modèle MARS pour construire mon classificateur (je suis intéressé par n'importe quel modèle simple, et utiliser glms à des fins d'illustration serait bien aussi). Maintenant, j'ai un énorme déséquilibre …

30 machine-learning roc precision-recall unbalanced-classes data-visualization

1

que signifient les chiffres du rapport de classification de sklearn?

J'ai ci-dessous un exemple que j'ai tiré de la documentation sklearn.metrics.classification_report de sklearn. Ce que je ne comprends pas, c'est pourquoi il y a des valeurs de score f1, de précision et de rappel pour chaque classe où je crois que la classe est l'étiquette prédictive? Je pensais que le …

29 machine-learning python scikit-learn precision-recall

2

Aire sous courbe de rappel de précision (AUC de la courbe PR) et précision moyenne (AP)

La précision moyenne (AP) est-elle la zone sous la courbe de rappel de précision (ASC de la courbe PR)? MODIFIER: voici quelques commentaires sur la différence entre PR AUC et AP. L'AUC est obtenue par interpolation trapézoïdale de la précision. Une métrique alternative et généralement presque équivalente est la précision …

27 scikit-learn precision-recall auc average-precision

1

F1 / Dice-Score vs IoU

J'étais confus quant aux différences entre le score F1, le score Dice et IoU (intersection sur l'union). À ce jour, j'ai découvert que F1 et Dice signifient la même chose (non?) Et IoU a une formule très similaire aux deux autres. F1 / Dés:2 TP2 TP+ FP+ FN2TP2TP+FP+FN\frac{2TP}{2TP+FP+FN} IoU / …

24 terminology accuracy precision-recall

3

Mesures de classification / évaluation pour les données très déséquilibrées

Je fais face à un problème de détection de fraude (de type notation de crédit). En tant que tel, il existe une relation très déséquilibrée entre les observations frauduleuses et non frauduleuses. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html fournit un excellent aperçu des différentes métriques de classification. Precision and Recallou les kappadeux semblent être un …

22 classification unbalanced-classes precision-recall cohens-kappa model-evaluation

4

Quelles sont les valeurs correctes pour la précision et le rappel dans les cas de bord?

La précision est définie comme: p = true positives / (true positives + false positives) Est - il exact que, true positiveset false positivesapproche 0, la précision approche 1? Même question pour rappel: r = true positives / (true positives + false negatives) J'implémente actuellement un test statistique où j'ai …

20 precision-recall data-visualization logarithm references r networks data-visualization standard-deviation probability binomial negative-binomial r categorical-data aggregation plyr survival python regression r t-test bayesian logistic data-transformation confidence-interval t-test interpretation distributions data-visualization pca genetics r finance maximum probability standard-deviation probability r information-theory references computational-statistics computing references engineering-statistics t-test hypothesis-testing independence definition r censoring negative-binomial poisson-distribution variance mixed-model correlation intraclass-correlation aggregation interpretation effect-size hypothesis-testing goodness-of-fit normality-assumption small-sample distributions regression normality-assumption t-test anova confidence-interval z-statistic finance hypothesis-testing mean model-selection information-geometry bayesian frequentist terminology type-i-and-ii-errors cross-validation smoothing splines data-transformation normality-assumption variance-stabilizing r spss stata python correlation logistic logit link-function regression predictor pca factor-analysis r bayesian maximum-likelihood mcmc conditional-probability statistical-significance chi-squared proportion estimation error shrinkage application steins-phenomenon

3

ROC vs courbes de rappel de précision sur un ensemble de données déséquilibré

Je viens de terminer la lecture de cette discussion. Ils soutiennent que PR AUC est meilleure que ROC AUC sur un ensemble de données déséquilibré. Par exemple, nous avons 10 échantillons dans l'ensemble de données de test. 9 échantillons sont positifs et 1 négatif. Nous avons un modèle terrible qui …

17 machine-learning model-selection roc unbalanced-classes precision-recall

3

Zone sous la courbe ROC ou zone sous la courbe PR pour les données déséquilibrées?

J'ai quelques doutes quant à la mesure de performance à utiliser, l'aire sous la courbe ROC (TPR en fonction de FPR) ou l'aire sous la courbe de précision-rappel (précision en fonction du rappel). Mes données sont déséquilibrées, c'est-à-dire que le nombre d'instances négatives est beaucoup plus important que les instances …

16 r machine-learning roc precision-recall auc

5

Quel est l'impact de l'augmentation des données de formation sur la précision globale du système?

Quelqu'un peut-il résumer pour moi avec des exemples possibles, dans quelles situations l'augmentation des données de formation améliore le système global? Quand détectons-nous que l'ajout de données d'entraînement pourrait éventuellement sur-ajuster les données et ne pas donner de bonnes précisions sur les données de test? Il s'agit d'une question très …

16 machine-learning classification dataset precision-recall

3

Quelles sont les valeurs correctes de précision et de rappel lorsque les dénominateurs sont égaux à 0?

La précision est définie comme: p = vrais positifs / (vrais positifs + faux positifs) Quelle est la valeur de la précision si (vrais positifs + faux positifs) = 0? Est-ce juste indéfini? Même question pour rappel: r = vrais positifs / (vrais positifs + faux négatifs) Dans ce cas, …

16 precision-recall

4

La précision de la machine augmentant le gradient diminue à mesure que le nombre d'itérations augmente

J'expérimente l'algorithme de la machine de renforcement de gradient via le caretpackage en R. À l'aide d'un petit ensemble de données d'admission à l'université, j'ai exécuté le code suivant: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- …

15 machine-learning caret boosting gbm hypothesis-testing t-test panel-data psychometrics intraclass-correlation generalized-linear-model categorical-data binomial model intercept causality cross-correlation distributions ranks p-value z-test sign-test time-series references terminology cross-correlation definition probability distributions beta-distribution inverse-gamma missing-data paired-comparisons paired-data clustered-standard-errors cluster-sample time-series arima logistic binary-data odds-ratio medicine hypothesis-testing wilcoxon-mann-whitney unsupervised-learning hierarchical-clustering neural-networks train clustering k-means regression ordinal-data change-scores machine-learning experiment-design roc precision-recall auc stata multilevel-analysis regression fitting nonlinear jmp r data-visualization gam gamm4 r lme4-nlme many-categories regression causality instrumental-variables endogeneity controlling-for-a-variable

Questions marquées «precision-recall»