Adaboost est une méthode d'ensemble qui combine de nombreux apprenants faibles pour former un apprenant fort. Tous les exemples d'adaboost que j'ai lus utilisent des souches / arbres de décision en tant qu'apprenants faibles. Puis-je utiliser différents apprenants faibles dans adaboost? Par exemple, comment implémenter adaboost (généralement boosting) pour booster un modèle de régression logistique?
Une différence principale entre les arbres de classification et la régression logistique est que les anciennes classes de sorties (-1,1) tandis que la régression logistique sort les probs. Une idée est de choisir la meilleure fonctionnalité X parmi un ensemble de fonctionnalités et de sélectionner un seuil (0,5?) Pour convertir les sondes en classes, puis d'utiliser une régression logistique pondérée pour trouver la prochaine fonctionnalité, etc.
Mais j'imagine qu'il existe un algorithme général pour stimuler différents apprenants faibles différents des souches de décision qui génère des probabilités. Je pensais que Logitboost était la réponse à ma question mais j'ai essayé de lire le document "Additive Logistic Regression" et je suis resté coincé au milieu.