Statistiques et Big Data unbalanced-classes

3

Un échantillon non équilibré est-il important lors de la régression logistique?

Bon, je pense donc avoir un échantillon assez décent, en tenant compte de la règle empirique de 20: 1: un échantillon assez volumineux (N = 374) pour un total de 7 variables prédictives candidates. Mon problème est le suivant: quel que soit le jeu de variables de prédiction que j'utilise, …

81 regression logistic sample-size unbalanced-classes

5

Quand le déséquilibre des données pose-t-il vraiment un problème dans le Machine Learning?

Nous avions déjà plusieurs questions sur les données déséquilibrées lors de l'utilisation de la régression logistique , de la SVM , des arbres de décision , de la mise en sac et de plusieurs autres questions similaires, ce qui en fait un sujet très populaire! Malheureusement, chacune des questions semble …

53 machine-learning classification predictive-models unbalanced-classes

6

Classification binaire avec des classes fortement déséquilibrées

J'ai un ensemble de données sous la forme de (fonctionnalités, sortie binaire 0 ou 1), mais 1 arrive assez rarement, donc juste en prédisant toujours 0, j'obtiens une précision comprise entre 70% et 90% (en fonction des données que je regarde) ). Les méthodes ML me donnent à peu près …

52 machine-learning classification binary-data unbalanced-classes

4

Déséquilibre de classe dans l'apprentissage automatique supervisé

C'est une question en général, non spécifique à une méthode ou à un ensemble de données. Comment traiter un problème de déséquilibre de classe dans l'apprentissage automatique supervisé, où le nombre de 0 est d'environ 90% et le nombre de 1 d'environ 10% dans votre jeu de données. Comment former …

47 machine-learning unbalanced-classes supervised-learning

4

Formation d'un arbre de décision contre des données déséquilibrées

Je suis novice dans l'exploration de données et j'essaie de former un arbre de décision par rapport à un ensemble de données extrêmement déséquilibré. Cependant, j'ai des problèmes avec une faible précision prédictive. Les données comprennent les étudiants qui étudient les cours, et la variable de classe est le statut …

43 classification cart unbalanced-classes accuracy

1

Est-ce que le sous-échantillonnage change les coefficients de régression logistique?

Si j'ai un ensemble de données avec une classe positive très rare et que je sous-échantillonne la classe négative, puis effectuer une régression logistique, dois-je ajuster les coefficients de régression pour refléter le fait que j'ai modifié la prévalence de la classe positive? Par exemple, supposons que j'ai un jeu …

34 logistic unbalanced-classes case-control-study

3

Quelle est la cause profonde du problème de déséquilibre de classe?

J'ai beaucoup réfléchi au «problème de déséquilibre de classe» dans l'apprentissage machine / statistique ces derniers temps, et j'approfondis de plus en plus le sentiment que je ne comprends tout simplement pas ce qui se passe. Permettez-moi d'abord de définir (ou d'essayer de) définir mes termes: Le problème de déséquilibre …

30 classification predictive-models unbalanced-classes scoring-rules

4

Optimisation des courbes précision-rappel sous déséquilibre de classe

J'ai une tâche de classification où j'ai un certain nombre de prédicteurs (dont l'un est le plus informatif), et j'utilise le modèle MARS pour construire mon classificateur (je suis intéressé par n'importe quel modèle simple, et utiliser glms à des fins d'illustration serait bien aussi). Maintenant, j'ai un énorme déséquilibre …

30 machine-learning roc precision-recall unbalanced-classes data-visualization

4

Quand dois-je équilibrer les classes dans un ensemble de données d'entraînement?

J'ai suivi un cours en ligne, où j'ai appris, que des classes déséquilibrées dans les données de formation pouvaient entraîner des problèmes, car les algorithmes de classification optent pour la règle de la majorité, car cela donne de bons résultats si le déséquilibre est trop important. Dans une affectation, il …

29 machine-learning classification unbalanced-classes

6

Taille de l'échantillon pour la régression logistique?

Je veux faire un modèle logistique à partir de mes données d'enquête. Il s'agit d'une petite enquête sur quatre colonies résidentielles dans laquelle seulement 154 répondants ont été interrogés. Ma variable dépendante est «transition satisfaisante vers le travail». J'ai constaté que, sur les 154 répondants, 73 ont déclaré avoir effectué …

26 logistic sample-size assumptions power unbalanced-classes

4

Quelle est l'utilisation appropriée de scale_pos_weight dans xgboost pour les jeux de données déséquilibrés?

J'ai un ensemble de données très déséquilibré. J'essaie de suivre les conseils de réglage et d'utilisation, scale_pos_weightmais je ne sais pas comment dois-je le régler. Je peux voir que cela RegLossObj.GetGradientfait: if (info.labels[i] == 1.0f) w *= param_.scale_pos_weight donc un gradient d'un échantillon positif aurait plus d'influence. Cependant, selon l' …

26 unbalanced-classes xgboost

4

Quel problème le suréchantillonnage, le sous-échantillonnage et SMOTE résolvent-ils?

Dans une question récente et bien reçue, Tim demande quand les données non équilibrées sont-elles vraiment un problème dans le Machine Learning ? La prémisse de la question est qu'il y a beaucoup de littérature d'apprentissage automatique discutant de l'équilibre des classes et du problème des classes déséquilibrées . L'idée …

25 machine-learning classification predictive-models unbalanced-classes

2

Comment gérer la différence entre la distribution de l'ensemble de test et l'ensemble de formation?

Je pense qu'une hypothèse de base de l'apprentissage automatique ou de l'estimation des paramètres est que les données invisibles proviennent de la même distribution que l'ensemble d'apprentissage. Cependant, dans certains cas pratiques, la distribution de l'ensemble de test sera presque différente de l'ensemble de formation. Disons pour un problème de …

23 machine-learning classification skewness unbalanced-classes multi-class

3

Mesures de classification / évaluation pour les données très déséquilibrées

Je fais face à un problème de détection de fraude (de type notation de crédit). En tant que tel, il existe une relation très déséquilibrée entre les observations frauduleuses et non frauduleuses. http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html fournit un excellent aperçu des différentes métriques de classification. Precision and Recallou les kappadeux semblent être un …

22 classification unbalanced-classes precision-recall cohens-kappa model-evaluation

5

Échantillonnage des données déséquilibrées en régression

Il y a eu de bonnes questions sur le traitement des données déséquilibrées dans le contexte de la classification , mais je me demande ce que les gens font pour échantillonner pour la régression. Supposons que le domaine problématique soit très sensible au signe, mais seulement quelque peu sensible à …

22 regression sampling unbalanced-classes

Questions marquées «unbalanced-classes»