Statistiques et Big Data classification

2

Est précision = 1- taux d'erreur de test

Toutes mes excuses si c'est une question très évidente, mais j'ai lu divers articles et je n'arrive pas à trouver une bonne confirmation. Dans le cas de la classification, la précision d' un classificateur est-elle un taux d'erreur de test de 1 ? J'obtiens que la précision est , mais …

14 classification terminology accuracy

2

Mathématiques derrière les arbres de classification et de régression

Quelqu'un peut-il aider à expliquer certaines des mathématiques derrière la classification dans CART? Je cherche à comprendre comment deux étapes principales se produisent. Par exemple, j'ai formé un classificateur CART sur un ensemble de données et utilisé un ensemble de données de test pour marquer ses performances prédictives mais: Comment …

14 regression classification data-mining cart

4

Vérifier si l'amélioration de la précision est significative

Supposons que j'ai un algorithme qui classe les choses en deux catégories. Je peux mesurer la précision de l'algorithme sur, disons, 1000 choses de test - supposons que 80% des choses sont classées correctement. Supposons que je modifie l'algorithme de manière à ce que 81% des choses soient classées correctement. …

14 statistical-significance classification

4

Comment interpréter une courbe ROC?

J'ai appliqué une régression logistique à mes données sur SAS et voici la courbe ROC et le tableau de classification. Je suis à l'aise avec les chiffres du tableau de classification, mais je ne sais pas exactement ce que la courbe roc et la zone en dessous montrent. Toute explication …

14 regression logistic classification roc

3

Quels devraient être les paramètres optimaux pour le classificateur Random Forest?

Actuellement j'utilise RF toolbox sur MATLAB pour un problème de classification binaire Ensemble de données: 50000 échantillons et plus de 250 fonctionnalités Alors, quel devrait être le nombre d'arbres et la fonction sélectionnée au hasard sur chaque division pour faire pousser les arbres? tout autre paramètre peut-il affecter considérablement les …

14 machine-learning classification random-forest

2

Comment Naive Bayes fonctionne-t-il avec des variables continues?

À ma connaissance (très basique), Naive Bayes estime les probabilités en fonction des fréquences de classe de chaque caractéristique des données d'entraînement. Mais comment calcule-t-il la fréquence des variables continues? Et lors de la prédiction, comment classe-t-elle une nouvelle observation qui peut ne pas avoir les mêmes valeurs que n'importe …

14 machine-learning classification bayesian naive-bayes

1

Comparaison de deux modèles lorsque les courbes ROC se croisent

Une mesure courante utilisée pour comparer deux modèles de classification ou plus consiste à utiliser l'aire sous la courbe ROC (AUC) comme moyen d'évaluer indirectement leur performance. Dans ce cas, un modèle avec une AUC plus grande est généralement interprété comme plus performant qu'un modèle avec une AUC plus petite. …

13 machine-learning classification roc auc model-evaluation

4

Faut-il se préoccuper de la multi-colinéarité lors de l'utilisation de modèles non linéaires?

Supposons que nous ayons un problème de classification binaire avec des fonctionnalités principalement catégorielles. Nous utilisons un modèle non linéaire (par exemple XGBoost ou Random Forests) pour l'apprendre. Faut-il encore se préoccuper de la multi-colinéarité? Pourquoi? Si la réponse à ce qui précède est vraie, comment la combattre si l'on …

13 classification random-forest multicollinearity xgboost

3

Comment les modèles d'apprentissage automatique (GBM, NN, etc.) peuvent-ils être utilisés pour l'analyse de survie?

Je sais que les modèles statistiques traditionnels comme la régression des risques proportionnels de Cox et certains modèles de Kaplan-Meier peuvent être utilisés pour prédire jours jusqu'à la prochaine occurrence d'une panne par exemple d'événements , etc. -à- dire l' analyse de survie Des questions Comment la version de régression …

13 machine-learning classification survival cox-model kaplan-meier

1

Comment former la couche LSTM de réseau profond

J'utilise un réseau lstm et feed-forward pour classer le texte. Je convertis le texte en vecteurs uniques et les insère dans le lstm afin de pouvoir le résumer en une seule représentation. Ensuite, je le nourris à l'autre réseau. Mais comment former le lstm? Je veux juste classer le texte …

13 classification neural-networks deep-learning lstm

2

L'utilisation du package caret est-il possible d'obtenir des matrices de confusion pour des valeurs de seuil spécifiques?

J'ai obtenu un modèle de régression logistique (via train) pour une réponse binaire, et j'ai obtenu la matrice de confusion logistique via confusionMatrixin caret. Cela me donne la matrice de confusion du modèle logistique, même si je ne sais pas quel seuil est utilisé pour l'obtenir. Comment obtenir la matrice …

13 r classification roc caret confusion-matrix

2

Comment un perceptron multiclasse peut-il fonctionner?

Je n'ai aucune formation en mathématiques, mais je comprends comment fonctionne le simple Perceptron et je pense que je saisis le concept d'un hyperplan (je l'imagine géométriquement comme un avion dans l'espace 3D qui sépare deux nuages de points, tout comme une ligne sépare deux nuages de points dans l'espace …

13 machine-learning classification linear-model multi-class

3

PCA sur les données textuelles de grande dimension avant la classification aléatoire des forêts?

Est-il judicieux de faire de l'ACP avant d'effectuer une classification aléatoire des forêts? J'ai affaire à des données de texte de grande dimension, et je veux faire une réduction de fonctionnalités pour éviter la malédiction de la dimensionnalité, mais Random Forests ne fait-il pas déjà une sorte de réduction de …

13 classification pca random-forest dimensionality-reduction high-dimensional

1

Reproduction du tableau 18.1 de «Elements of Statistical Learning»

Le tableau 18.1 des éléments de l'apprentissage statistique résume les performances de plusieurs classificateurs sur un ensemble de données de 14 classes. Je compare un nouvel algorithme avec le lasso et le filet élastique pour de tels problèmes de classification multiclasse. En utilisant la glmnetversion 1.5.3 (R 2.13.0), je ne …

13 classification lasso glmnet

1

Package GBM vs Caret utilisant GBM

J'ai ajusté le modèle à l'aide caret, mais j'ai ensuite réexécuté le modèle à l'aide du gbmpackage. Je crois comprendre que le caretpackage utilise gbmet que la sortie doit être la même. Cependant, un simple test rapide utilisant data(iris)montre une différence dans le modèle d'environ 5% en utilisant RMSE et …

13 r caret gbm matrix linear-algebra logistic modeling logit ordered-logit r confidence-interval survival population weibull classification separation hypothesis-testing correlation statistical-significance p-value python r data-visualization r regression multiple-regression chi-squared multivariate-analysis distributions random-variable experiment-design distributions poisson-regression residuals excel time-series garch var survival modeling cox-model interaction r pca normality-assumption

Questions marquées «classification»