Questions marquées «boosting»

Quelles sont les similitudes et les différences entre ces 3 méthodes: Ensachage, Boosting, Empiler? Quel est le meilleur? Et pourquoi? Pouvez-vous me donner un exemple pour chacun?

245 machine-learning  boosting  ensemble  bagging  model-averaging 

Comme l’a proposé Friedman, l’amélioration des arbres en dégradé utilise des arbres de décision comme apprenants de base. Je me demande si nous devrions rendre l'arbre de décision de base aussi complexe que possible (complètement développé) ou plus simple? Y a-t-il une explication au choix? Random Forest est une autre …

110 machine-learning  random-forest  cart  boosting  ensemble 

J'ai une classe de données déséquilibrées et je veux régler les hyperparamètres du tress renforcé à l'aide de xgboost. Des questions Existe-t-il un équivalent de gridsearchcv ou randomsearchcv pour xgboost? Si non, quelle est l'approche recommandée pour ajuster les paramètres de xgboost?

69 machine-learning  cross-validation  xgboost  boosting 

Courte définition du boosting : Un ensemble d’apprenants faibles peut-il créer un seul apprenant fort? Un apprenant faible est défini comme un classifieur peu corrélé avec la vraie classification (il peut mieux étiqueter des exemples que des suppositions aléatoires). Définition courte de forêt aléatoire : Random Forests cultive de nombreux …

51 machine-learning  random-forest  boosting  bagging 

J'essaie de comprendre les différences entre GBM et Adaboost. Ce sont ce que j'ai compris jusqu'à présent: Il existe deux algorithmes de renforcement, qui tirent les leçons des erreurs des modèles précédents et font enfin une somme pondérée des modèles. GBM et Adaboost sont assez similaires sauf pour leurs fonctions …

48 boosting  gbm  adaboost 

Lors de l'apprentissage de Gradient Boosting, je n'ai jamais entendu parler de contraintes concernant les propriétés d'un "classificateur faible" que la méthode utilise pour construire et modéliser un modèle. Cependant, je ne pouvais pas imaginer une application de Go utilisant une régression linéaire, et en fait, après avoir effectué certains …

35 regression  machine-learning  boosting  ensemble  gradient 

Cela fait longtemps que je suis des compétitions Kaggle et je me rends compte que de nombreuses stratégies gagnantes impliquent l’utilisation d’au moins un des «trois grands»: l’ensachage, le boost et l’empilement. Pour les régressions, plutôt que de se concentrer sur la construction d'un meilleur modèle de régression possible, la …

33 predictive-models  boosting  bagging  stacking  model-averaging 

Il existe plusieurs implémentations de la famille de modèles GBDT telles que: GBM XGBoost LightGBM Catboost. Quelles sont les différences mathématiques entre ces différentes implémentations? Catboost semble surpasser les autres implémentations même en utilisant uniquement ses paramètres par défaut en fonction de cette référence , mais il est toujours très …

33 boosting  xgboost 

Je cherche une explication du calcul de l'importance relative relative des variables dans les arbres à gradient de densité, qui n'est pas trop générale / simpliste, comme: Les mesures sont basées sur le nombre de fois qu'une variable est sélectionnée pour le fractionnement, pondérées par l'amélioration au carré du modèle …

33 machine-learning  data-mining  predictive-models  cart  boosting 

Quelles sont les directives utiles pour tester les paramètres (c.-à-d. La profondeur d'interaction, l'enfant minuscule, la fréquence d'échantillonnage, etc.) à l'aide de GBM? Disons que j'ai 70 à 100 fonctionnalités, une population de 200 000 habitants et j'ai l'intention de tester la profondeur d'interaction de 3 et 4. De toute …

31 r  hypothesis-testing  cart  boosting 

J'avais une question sur le paramètre de profondeur d'interaction en gbm dans R. Cela peut être une question noob, pour laquelle je m'excuse, mais comment le paramètre, qui je crois dénote le nombre de nœuds terminaux dans un arbre, indique fondamentalement X-way interaction entre les prédicteurs? J'essaie juste de comprendre …

30 r  machine-learning  boosting  gbm 

À titre d'exemple, prendre la fonction objective du modèle XGBoost sur le « e itération:ttt L(t)=∑i=1nℓ(yi,y^(t−1)i+ft(xi))+Ω(ft)L(t)=∑i=1nℓ(yi,y^i(t−1)+ft(xi))+Ω(ft)\mathcal{L}^{(t)}=\sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)}+f_t(\mathbf{x}_i))+\Omega(f_t) où est la fonction de perte, est le ième sortie arbre et est la régularisation. L'une des (nombreuses) étapes clés pour un calcul rapide est l'approximation:ℓℓ\ellftftf_ttttΩΩ\Omega L(t)≈∑i=1nℓ(yi,y^(t−1)i)+gtft(xi)+12hif2t(xi)+Ω(ft),L(t)≈∑i=1nℓ(yi,y^i(t−1))+gtft(xi)+12hift2(xi)+Ω(ft),\mathcal{L}^{(t)}\approx \sum_{i=1}^n\ell(y_i,\hat{y}_i^{(t-1)})+g_tf_t(\mathbf{x}_i)+\frac{1}{2}h_if_t^2(\mathbf{x}_i)+\Omega(f_t), où et sont les première et …

28 optimization  loss-functions  boosting  xgboost  taylor-series 

Voir aussi une question similaire sur stats.SE . En stimulant les algorithmes tels que AdaBoost et LPBoost, il est connu que les apprenants "faibles" à combiner n'ont qu'à mieux performer que la chance d'être utiles, de Wikipedia: Les classificateurs qu'il utilise peuvent être faibles (c'est-à-dire afficher un taux d'erreur substantiel), …

28 machine-learning  theory  boosting 

Quelle est la façon la plus simple de comprendre le boosting? Pourquoi ne stimule-t-il pas les classificateurs très faibles "à l'infini" (la perfection)?

23 machine-learning  boosting 

J'ai plusieurs questions étroitement liées concernant les apprenants faibles dans l'apprentissage d'ensemble (par exemple, le renforcement). Cela peut sembler stupide, mais quels sont les avantages d'utiliser des apprenants faibles plutôt que des apprenants forts? (par exemple, pourquoi ne pas booster avec des méthodes d'apprentissage "fortes"?) Existe-t-il une sorte de force …

22 machine-learning  boosting  ensemble