Questions marquées «boosting»

Une famille d'algorithmes combinant des modèles faiblement prédictifs en un modèle fortement prédictif. L'approche la plus courante est appelée augmentation du gradient, et les modèles faibles les plus couramment utilisés sont les arbres de classification / régression.

4
La précision de la machine augmentant le gradient diminue à mesure que le nombre d'itérations augmente
J'expérimente l'algorithme de la machine de renforcement de gradient via le caretpackage en R. À l'aide d'un petit ensemble de données d'admission à l'université, j'ai exécuté le code suivant: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- …
15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 
1
Quand voudrait-on utiliser AdaBoost?
Comme j'ai entendu parler du classificateur AdaBoost à plusieurs reprises au travail, je voulais avoir une meilleure idée de son fonctionnement et du moment où on pourrait l'utiliser. Je suis allé de l'avant et j'ai lu un certain nombre d'articles et de didacticiels que j'ai trouvés sur Google, mais il …
1
L'amplification du gradient est-elle appropriée pour les données avec de faibles taux d'événements comme 1%?
J'essaie d'augmenter le gradient sur un ensemble de données avec un taux d'événements d'environ 1% en utilisant Enterprise Miner, mais il ne parvient à produire aucune sortie. Ma question est, puisqu'il s'agit d'une approche basée sur un arbre de décision, est-il même juste d'utiliser l'augmentation de gradient avec un événement …
3
La forêt aléatoire et l'amplification sont-elles paramétriques ou non paramétriques?
En lisant l'excellente modélisation statistique: Les deux cultures (Breiman 2001) , nous pouvons saisir toute la différence entre les modèles statistiques traditionnels (par exemple, la régression linéaire) et les algorithmes d'apprentissage automatique (par exemple, Bagging, Random Forest, Boosted trees ...). Breiman critique les modèles de données (paramétriques) car ils sont …
1
Pourquoi ne pas toujours utiliser l'apprentissage d'ensemble?
Il me semble que l'apprentissage d'ensemble donnera toujours de meilleures performances prédictives qu'avec une seule hypothèse d'apprentissage. Alors, pourquoi ne les utilisons-nous pas tout le temps? Je suppose que c'est peut-être à cause de limitations informatiques? (même alors, nous utilisons des prédicteurs faibles, donc je ne sais pas).
9
Arbres de décision boostés en python? [fermé]
Fermé. Cette question est hors sujet . Il n'accepte pas actuellement les réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé il y a 5 mois . Existe-t-il une bonne bibliothèque python pour l'entraînement des arbres de décision …
13 python  cart  boosting 
2
Meilleures pratiques pour coder les fonctionnalités catégorielles pour les arbres de décision?
Lors du codage des caractéristiques catégorielles pour la régression linéaire, il existe une règle: le nombre de variables muettes doit être inférieur de un au nombre total de niveaux (pour éviter la colinéarité). Existe-t-il une règle similaire pour les arbres de décision (ensachés, boostés)? Je pose cette question car une …
5
L'apprentissage automatique est-il un rêve?
En découvrant l'apprentissage automatique, je vois différentes techniques intéressantes telles que: régler automatiquement les algorithmes avec des techniques telles que grid search, obtenir des résultats plus précis grâce à la combinaison de différents algorithmes du même "type", c'est-à-dire boosting, obtenir des résultats plus précis grâce à la combinaison de différents …
3
pourquoi la méthode de boosting est sensible aux valeurs aberrantes
J'ai trouvé de nombreux articles qui indiquent que les méthodes de boosting sont sensibles aux valeurs aberrantes, mais aucun article expliquant pourquoi. D'après mon expérience, les valeurs aberrantes sont mauvaises pour tout algorithme d'apprentissage automatique, mais pourquoi les méthodes de renforcement sont-elles particulièrement sensibles? Comment les algorithmes suivants se classeraient-ils …
2
Utilisation d'Adaboost avec SVM pour la classification
Je sais qu'Adaboost essaie de générer un classificateur fort en utilisant une combinaison linéaire d'un ensemble de classificateurs faibles. Cependant, j'ai lu certains articles suggérant qu'Adaboost et les SVM fonctionnent en harmonie (même si SVM est un classificateur puissant) dans certaines conditions et dans certains cas . Je ne suis …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.