Statistiques et Big Data classification

1

Réduction du nombre de niveaux de variable prédictive catégorique non ordonnée

Je veux former un classificateur, par exemple SVM, ou une forêt aléatoire, ou tout autre classificateur. L'une des fonctionnalités de l'ensemble de données est une variable catégorielle avec 1000 niveaux. Quelle est la meilleure façon de réduire le nombre de niveaux dans cette variable. Dans R, il y a une …

11 classification svm random-forest many-categories

2

Comment comprendre un réseau de croyances profondes convolutionnel pour la classification audio?

Dans " Réseaux de croyances profondes convolutionnelles pour un apprentissage évolutif et non supervisé des représentations hiérarchiques " par Lee et. ( PDF ) Des DBN convolutifs sont proposés. La méthode est également évaluée pour la classification des images. Cela semble logique, car il existe des caractéristiques naturelles de l'image …

11 classification unsupervised-learning intuition deep-belief-networks

3

Pourquoi devons-nous adapter un classifieur k-voisins les plus proches?

Si j'ai bien compris, k-NN est un algorithme d'apprentissage paresseux et il n'a pas besoin d'une phase de formation. Alors, pourquoi devons-nous utiliser .fit()avec sklearn et que se passe-t-il lorsque nous l'utilisons?

11 classification scikit-learn k-nearest-neighbour

1

R / mgcv: Pourquoi les produits tenseurs te () et ti () produisent-ils des surfaces différentes?

Le mgcvpackage pour Ra deux fonctions pour ajuster les interactions des produits tensoriels: te()et ti(). Je comprends la division de base du travail entre les deux (ajustement d'une interaction non linéaire vs décomposition de cette interaction en effets principaux et interaction). Ce que je ne comprends pas, c'est pourquoi te(x1, …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

2

Technique d'apprentissage automatique pour l'apprentissage des modèles de cordes

J'ai une liste de mots, appartenant à différentes catégories auto-définies. Chaque catégorie a son propre motif (par exemple une a une longueur fixe avec des caractères spéciaux, une autre existe de caractères qui n'apparaissent que dans cette catégorie de "mot", ...). Par exemple: "ABC" -> type1 "ACC" -> type1 "a8 …

11 machine-learning classification similarities supervised-learning

3

Classificateur avec précision réglable vs rappel

Je travaille sur un problème de classification binaire où il est beaucoup plus important de ne pas avoir de faux positifs; beaucoup de faux négatifs sont ok. J'ai utilisé un tas de classificateurs dans sklearn par exemple, mais je pense qu'aucun d'entre eux n'a la capacité d'ajuster explicitement le compromis …

11 classification precision-recall

3

Qu'est-ce qu'une bonne ASC pour une courbe de rappel de précision?

Parce que j'ai un ensemble de données très déséquilibré (9% de résultats positifs), j'ai décidé qu'une courbe de rappel de précision était plus appropriée qu'une courbe ROC. J'ai obtenu la mesure sommaire analogue de l'aire sous la courbe PR (.49, si vous êtes intéressé), mais je ne sais pas comment …

11 classification precision-recall auc

1

Avantages de la distance de Jeffries Matusita

Selon certains articles que je lis, la distance de Jeffries et Matusita est couramment utilisée. Mais je n'ai pas trouvé beaucoup d'informations à ce sujet, sauf pour la formule ci-dessous JMD (x, y) =∑(xi−−√2−yi−−√2)2−−−−−−−−−−−−−√2∑(xi2−yi2)22\sqrt[2]{\sum(\sqrt[2]{x_i}-\sqrt[2]{y_i})^2} Elle est similaire à la distance euclidienne à l'exception de la racine carrée E (x, y) …

11 classification k-nearest-neighbour euclidean

1

Comment prévoir des événements rares?

Je travaille sur le développement d'un modèle prédictif des risques d'assurance. Ces modèles sont des «événements rares» comme la prévision de non-présentation des compagnies aériennes, la détection de pannes matérielles, etc. Pendant que je préparais mon ensemble de données, j'essayais d'appliquer la classification, mais je n'ai pas pu obtenir de …

11 classification predictive-models scikit-learn poisson-process

1

Comment choisir la probabilité de coupure pour un événement rare Régression logistique

J'ai 100 000 observations (9 variables indicatrices factices) avec 1000 positifs. La régression logistique devrait bien fonctionner dans ce cas, mais la probabilité de coupure me laisse perplexe. Dans la littérature courante, nous choisissons un seuil de 50% pour prédire les 1 et les 0. Je ne peux pas le …

11 regression logistic classification generalized-linear-model roc

3

Le premier composant principal ne sépare pas les classes, contrairement aux autres PC; comment est-ce possible?

J'ai exécuté PCA sur 17 variables quantitatives afin d'obtenir un plus petit ensemble de variables, c'est-à-dire les principaux composants, à utiliser dans l'apprentissage automatique supervisé pour classer les instances en deux classes. Après PCA, PC1 représente 31% de la variance des données, PC2 17%, PC3 10%, PC4 8%, PC5 7% …

11 machine-learning classification pca dimensionality-reduction

4

Classificateur pour les étiquettes de classe incertaines

Disons que j'ai un ensemble d'instances avec des étiquettes de classe associées. Peu importe comment ces instances ont été étiquetées, mais la certitude de leur appartenance à la classe. Chaque instance appartient à exactement une classe. Disons que je peux quantifier la certitude de chaque appartenance à une classe avec …

11 classification weka uncertainty

1

Motivation derrière les étapes de l'algorithme de forêt aléatoire

La méthode que je connais pour construire une forêt aléatoire est la suivante: (à partir de http://www.stat.berkeley.edu/~breiman/RandomForests/cc_home.htm ) Pour construire un arbre dans la forêt, nous: Bootstrap un échantillon de taille N où N est la taille de notre ensemble d'entraînement. Utilisez cet exemple amorcé comme ensemble de formation pour …

11 machine-learning classification random-forest

1

Évaluation des classificateurs: courbes d'apprentissage vs courbes ROC

Je voudrais comparer 2 classificateurs différents pour un problème de classification de texte multiclasse qui utilise de grands ensembles de données d'apprentissage. Je doute que je devrais utiliser des courbes ROC ou des courbes d'apprentissage pour comparer les 2 classificateurs. D'une part, les courbes d'apprentissage sont utiles pour décider de …

11 machine-learning classification roc accuracy

1

Comment utiliser le moignon de décision comme apprenant faible dans Adaboost?

Je souhaite implémenter Adaboost à l'aide de Decision Stump. Est-il correct de prendre autant de décisions que les fonctionnalités de notre ensemble de données à chaque itération d'Adaboost? Par exemple, si j'ai un ensemble de données avec 24 fonctionnalités, dois-je avoir 24 classificateur de moignon de décision à chaque itération? …

11 machine-learning classification cart boosting

Questions marquées «classification»