Statistiques et Big Data model-evaluation

7

Pourquoi la précision n'est-elle pas la meilleure mesure pour évaluer les modèles de classification?

C'est une question générale qui a été posée indirectement à plusieurs reprises ici, mais il manque une seule réponse faisant autorité. Il serait bon d'avoir une réponse détaillée à cette question pour la référence. L’exactitude , la proportion de classifications correctes parmi toutes les classifications, est une mesure très simple …

107 machine-learning classification accuracy model-evaluation scoring-rules

7

Meilleur algorithme PCA pour un grand nombre de fonctionnalités (> 10K)?

J'ai déjà posé cette question à StackOverflow, mais il semble que cela conviendrait mieux ici, étant donné que cela n'a pas donné de réponse à SO. C'est un peu à la croisée des statistiques et de la programmation. J'ai besoin d'écrire du code pour faire PCA (analyse en composantes principales). …

54 pca algorithms model-evaluation high-dimensional

5

Implémentations optimisées de l'algorithme Random Forest

J'ai remarqué qu'il existe quelques implémentations de forêt aléatoire telles que ALGLIB, Waffles et certains packages R tels que randomForest. Quelqu'un peut-il me dire si ces bibliothèques sont hautement optimisées? Sont-ils fondamentalement équivalents aux forêts aléatoires décrites dans Les éléments de l’apprentissage statistique ou ont-ils été complétés de nombreuses astuces? …

43 random-forest algorithms model-evaluation

3

Comment choisir une méthode de clustering? Comment valider une solution de cluster (pour justifier le choix de la méthode)?

L’un des problèmes les plus importants de l’analyse par grappes est qu’il peut arriver que nous devions tirer des conclusions différentes lorsque nous nous basons sur différentes méthodes de classification utilisées (y compris différentes méthodes de couplage dans une classification hiérarchique). J'aimerais connaître votre opinion à ce sujet - quelle …

35 clustering validation model-evaluation hierarchical-clustering

1

Utilisation abusive de la validation croisée (rapport des performances pour la meilleure valeur d'hyperparamètre)

Récemment, je suis tombé sur un article qui propose d'utiliser un classificateur k-NN sur un ensemble de données spécifique. Les auteurs ont utilisé tous les échantillons de données disponibles pour effectuer une validation croisée k-fold pour différentes valeurs k et rapporter les résultats de la validation croisée de la meilleure …

31 cross-validation references model-selection model-evaluation

3

Évaluation de la régression logistique et de l'interprétation de la qualité de l'ajustement Hosmer-Lemeshow

Comme nous le savons tous, il existe 2 méthodes pour évaluer le modèle de régression logistique et elles testent des choses très différentes Puissance prédictive: Obtenez une statistique qui mesure dans quelle mesure vous pouvez prédire la variable dépendante en fonction des variables indépendantes. Les Pseudo R ^ 2 bien …

24 r logistic goodness-of-fit regression-strategies model-evaluation

3

Mesures de classification / évaluation pour les données très déséquilibrées

Je fais face à un problème de détection de fraude (de type notation de crédit). En tant que tel, il existe une relation très déséquilibrée entre les observations frauduleuses et non frauduleuses. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html fournit un excellent aperçu des différentes métriques de classification. Precision and Recallou les kappadeux semblent être un …

22 classification unbalanced-classes precision-recall cohens-kappa model-evaluation

3

L'AUC-ROC peut-il être compris entre 0 et 0,5?

Les valeurs AUC-ROC peuvent-elles être comprises entre 0 et 0,5? Le modèle produit-il des valeurs comprises entre 0 et 0,5?

16 roc model-evaluation auc

1

Pourquoi utiliser le score de Gini normalisé au lieu de l'ASC comme évaluation?

La compétition de Kaggle La prévision de conducteur sûr de Porto Seguro utilise le score de Gini normalisé comme métrique d'évaluation, ce qui m'a rendu curieux des raisons de ce choix. Quels sont les avantages de l'utilisation du score de Gini normalisé au lieu des mesures les plus courantes, comme …

14 classification auc model-evaluation gini

1

Comparaison de deux modèles lorsque les courbes ROC se croisent

Une mesure courante utilisée pour comparer deux modèles de classification ou plus consiste à utiliser l'aire sous la courbe ROC (AUC) comme moyen d'évaluer indirectement leur performance. Dans ce cas, un modèle avec une AUC plus grande est généralement interprété comme plus performant qu'un modèle avec une AUC plus petite. …

13 machine-learning classification roc auc model-evaluation

2

Relation entre les coefficients de corrélation phi, Matthews et Pearson

Les coefficients de corrélation phi et Matthews sont-ils le même concept? Comment sont-ils liés ou équivalents au coefficient de corrélation de Pearson pour deux variables binaires? Je suppose que les valeurs binaires sont 0 et 1. La corrélation de Pearson entre deux variables aléatoires de Bernoulli et est:yxxxyyy ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]−−−−−−−−−−√=E[xy]−E[x]E[y]Var[x]Var[y]−−−−−−−−−−√=n11n−n1∙n∙1n0∙n1∙n∙0n∙1−−−−−−−−−−√ρ=E[(x−E[x])(y−E[y])]Var[x]Var[y]=E[xy]−E[x]E[y]Var[x]Var[y]=n11n−n1∙n∙1n0∙n1∙n∙0n∙1 \rho …

13 correlation contingency-tables bernoulli-distribution model-evaluation confusion-matrix

3

Pourquoi la méthode d'exclusion (fractionnement des données en formation et tests) n'est-elle pas utilisée dans les statistiques classiques?

Dans mon exposition en classe à l'exploration de données, la méthode de rétention a été introduite comme moyen d'évaluer les performances du modèle. Cependant, lorsque j'ai suivi mon premier cours sur les modèles linéaires, cela n'a pas été introduit comme moyen de validation ou d'évaluation des modèles. Ma recherche en …

12 regression validation model-evaluation out-of-sample

1

Test exact de Fisher et distribution hypergéométrique

Je voulais mieux comprendre le test exact du pêcheur, j'ai donc imaginé l'exemple de jouet suivant, où f et m correspond à l'homme et à la femme, et n et y correspond à la "consommation de soda" comme ceci: > soda_gender f m n 0 5 y 5 0 Évidemment, …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

2

Quelle est la différence entre et le score de variance dans Scikit-learn?

Je lisais sur les métriques de régression dans le manuel python scikit-learn et même si chacun d'eux a sa propre formule, je ne peux pas dire intuitivement quelle est la différence entre et le score de variance et donc quand utiliser l'un ou l'autre pour évaluer mes modèles.R2R2R^2

12 regression variance scikit-learn r-squared model-evaluation

5

Pourquoi le score bêta définit-il la bêta comme ça?

Il s'agit du score F beta: Fβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallFβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallF_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}} L'article de Wikipedia indique que .FβFβF_\beta "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision" Je n'ai pas compris …

10 machine-learning precision-recall model-evaluation

Questions marquées «model-evaluation»