Statistiques et Big Data classification

2

La f-mesure est-elle synonyme de précision?

Je comprends que la f-mesure (basée sur la précision et le rappel) est une estimation de la précision d'un classificateur. De plus, la mesure f est préférée à la précision lorsque nous avons un ensemble de données déséquilibré. J'ai une question simple (qui concerne plus l'utilisation d'une terminologie correcte que …

11 machine-learning classification data-mining unbalanced-classes accuracy

3

Rappel élevé - faible précision pour un ensemble de données déséquilibré

Je rencontre actuellement des problèmes lors de l'analyse d'un ensemble de données de tweet avec des machines à vecteurs de support. Le problème est que j'ai un ensemble d'entraînement en classe binaire déséquilibré (5: 2); qui devrait être proportionnelle à la distribution réelle des classes. Lors de la prédiction, j'obtiens …

11 machine-learning classification svm unbalanced-classes precision-recall

3

Le «bon» classificateur a détruit ma courbe de précision-rappel. Qu'est-il arrivé?

Je travaille avec des données déséquilibrées, où il y a environ 40 cas class = 0 pour chaque classe = 1. Je peux raisonnablement faire la distinction entre les classes en utilisant des fonctionnalités individuelles, et la formation d'un classificateur naïf Bayes et SVM sur 6 fonctionnalités et des données …

11 classification svm roc naive-bayes precision-recall

5

Pourquoi éviter le binning à tout prix?

J'ai donc lu quelques articles sur les raisons pour lesquelles le binning doit toujours être évité. Une référence populaire pour cette affirmation est ce lien . L'évasion principale étant que les points de binning (ou points de coupure) sont plutôt arbitraires ainsi que la perte d'informations qui en résulte, et …

10 classification categorical-data continuous-data splines binning

3

Quand utiliseriez-vous PCA plutôt que LDA dans la classification?

Je lis cet article sur la différence entre l'analyse en composantes principales et l'analyse discriminante multiple (analyse discriminante linéaire), et j'essaie de comprendre pourquoi vous utiliseriez jamais PCA plutôt que MDA / LDA. L'explication est résumée comme suit: En gros, dans PCA, nous essayons de trouver les axes avec les …

10 classification pca dimensionality-reduction discriminant-analysis

1

Les réseaux de neurones mettent-ils généralement un certain temps à se mettre en marche pendant l'entraînement?

J'essaie de former un réseau neuronal profond pour la classification, en utilisant la propagation arrière. Plus précisément, j'utilise un réseau de neurones convolutifs pour la classification d'images, en utilisant la bibliothèque Tensor Flow. Pendant l'entraînement, je ressens un comportement étrange et je me demande simplement si cela est typique ou …

10 machine-learning classification neural-networks conv-neural-network tensorflow

3

Cas d'utilisation RBM SVM (vs régression logistique et forêt aléatoire)

Prise en charge des machines vectorielles avec noyau de fonction à base radiale est un classificateur supervisé à usage général. Bien que je connaisse les fondements théoriques de ces SVM et leurs points forts, je ne connais pas les cas dans lesquels ils sont la méthode préférée. Alors, y a-t-il …

10 machine-learning logistic classification svm random-forest

4

Sur-ajustement avec des classificateurs linéaires

Aujourd'hui, notre professeur a déclaré en classe qu '"il n'est pas possible de sur-équiper les classificateurs linéaires". Je pense que c'est faux, car même les classificateurs linéaires peuvent être sensibles aux valeurs aberrantes dans l'ensemble de formation - prenez par exemple une machine à vecteur de support à marge dure: …

10 classification overfitting

2

Application de l'ACP pour tester les données à des fins de classification

J'ai récemment découvert le merveilleux PCA et j'ai fait l'exemple décrit dans la documentation scikit-learn . Je souhaite savoir comment appliquer l'APC à de nouveaux points de données à des fins de classification. Après avoir visualisé PCA dans un plan bidimensionnel (axe x, y), je vois que je peux probablement …

10 classification pca scikit-learn

1

Courbes ROC pour les jeux de données non équilibrés

Considérons une matrice d'entrée et une sortie binaire .yXXXyyy Une façon courante de mesurer les performances d'un classificateur consiste à utiliser des courbes ROC. Dans un tracé ROC, la diagonale est le résultat qui serait obtenu à partir d'un classificateur aléatoire. En cas de sortie asymétrique les performances d'un classificateur …

10 classification roc unbalanced-classes

2

Pourquoi Adaboost avec des arbres de décision?

J'ai lu un peu sur le renforcement des algorithmes pour les tâches de classification et Adaboost en particulier. Je comprends que le but d'Adaboost est de prendre plusieurs "apprenants faibles" et, à travers un ensemble d'itérations sur les données de formation, de pousser les classificateurs à apprendre à prédire les …

10 machine-learning classification algorithms boosting

2

Comment changer le seuil de classification dans R randomForests?

Toute la littérature sur la modélisation de la répartition des espèces suggère que lors de la prévision de la présence / absence d'une espèce à l'aide d'un modèle qui génère des probabilités (par exemple, RandomForests), le choix de la probabilité seuil par laquelle classer réellement une espèce comme présence ou …

10 r classification random-forest threshold

3

Comment visualiser la qualité de l'ajustement bayésien pour la régression logistique

Pour un problème de régression logistique bayésienne, j'ai créé une distribution prédictive postérieure. J'échantillonne à partir de la distribution prédictive et reçois des milliers d'échantillons de (0,1) pour chaque observation que j'ai. Visualiser la qualité de l'ajustement est loin d'être intéressant, par exemple: Ce graphique montre les 10 000 échantillons …

10 bayesian data-visualization classification goodness-of-fit binary-data

1

Pourquoi Anova () et drop1 () ont-ils fourni des réponses différentes pour les GLMM?

J'ai un GLMM du formulaire: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Lorsque j'utilise drop1(model, test="Chi"), j'obtiens des résultats différents de ceux que j'utilise à Anova(model, type="III")partir du package de voiture ou summary(model). Ces deux derniers donnent les mêmes réponses. En utilisant un …

10 r anova glmm r mixed-model bootstrap sample-size cross-validation roc auc sampling stratification random-allocation logistic stata interpretation proportion r regression multiple-regression linear-model lm r cross-validation cart rpart logistic generalized-linear-model econometrics experiment-design causality instrumental-variables random-allocation predictive-models data-mining estimation contingency-tables epidemiology standard-deviation mean ancova psychology statistical-significance cross-validation synthetic-data poisson-distribution negative-binomial bioinformatics sequence-analysis distributions binomial classification k-means distance unsupervised-learning euclidean correlation chi-squared spearman-rho forecasting excel exponential-smoothing binomial sample-size r change-point wilcoxon-signed-rank ranks clustering matlab covariance covariance-matrix normal-distribution simulation random-generation bivariate standardization confounding z-statistic forecasting arima minitab poisson-distribution negative-binomial poisson-regression overdispersion probability self-study markov-process estimation maximum-likelihood classification pca group-differences chi-squared survival missing-data contingency-tables anova proportion

3

D'où vient le terme «apprendre un modèle»

Souvent, j'ai entendu les mineurs de données ici utiliser ce terme. En tant que statisticien qui a travaillé sur des problèmes de classification, je connais le terme "former un classificateur" et je suppose que "apprendre un modèle" signifie la même chose. Cela ne me dérange pas le terme "former un …

10 classification data-mining terminology model

Questions marquées «classification»