Pourquoi ne pas toujours utiliser l'apprentissage d'ensemble?

Il me semble que l'apprentissage d'ensemble donnera toujours de meilleures performances prédictives qu'avec une seule hypothèse d'apprentissage.

Alors, pourquoi ne les utilisons-nous pas tout le temps?

Je suppose que c'est peut-être à cause de limitations informatiques? (même alors, nous utilisons des prédicteurs faibles, donc je ne sais pas).

En général, il n'est pas vrai qu'il fonctionnera toujours mieux. Il existe plusieurs méthodes d'ensemble, chacune ayant ses propres avantages / faiblesses. Lequel utiliser et dépend ensuite du problème à résoudre.

Par exemple, si vous avez des modèles à forte variance (ils surajustent vos données), vous tirerez probablement parti de l'utilisation de l'ensachage. Si vous avez des modèles biaisés, il est préférable de les combiner avec Boosting. Il existe également différentes stratégies pour former des ensembles. Le sujet est tout simplement trop large pour le couvrir en une seule réponse.

Mais mon point est: si vous utilisez la mauvaise méthode d' ensemble pour votre établissement, vous n'allez faire mieux. Par exemple, utiliser Bagging avec un modèle biaisé ne va pas aider.

De plus, si vous devez travailler dans un environnement probabiliste, les méthodes d'ensemble peuvent ne pas fonctionner non plus. Il est connu que Boosting (dans ses formes les plus populaires comme AdaBoost) fournit des estimations de probabilité médiocres. Autrement dit, si vous souhaitez avoir un modèle qui vous permet de raisonner sur vos données, pas seulement sur la classification, vous pourriez être mieux avec un modèle graphique.