Sur la «force» des apprenants faibles

J'ai plusieurs questions étroitement liées concernant les apprenants faibles dans l'apprentissage d'ensemble (par exemple, le renforcement).

1. Cela peut sembler stupide, mais quels sont les avantages d'utiliser des apprenants faibles plutôt que des apprenants forts? (par exemple, pourquoi ne pas booster avec des méthodes d'apprentissage "fortes"?)
2. Existe-t-il une sorte de force "optimale" pour les apprenants faibles (par exemple en gardant tous les autres paramètres d'ensemble fixes)? Y a-t-il un "sweet spot" en ce qui concerne leur force?
3. Comment mesurer la force d'un apprenant faible par rapport à celle de la méthode d'ensemble résultante. Comment mesurer quantitativement les avantages marginaux de l'utilisation d'un ensemble?
4. Comment comparer plusieurs algorithmes d'apprentissage faibles pour décider lequel utiliser pour une méthode d'ensemble donnée?
5. Si une méthode d'ensemble donnée aide les classificateurs faibles plus que les classificateurs forts, comment pouvons-nous dire qu'un classificateur donné est déjà "trop ​​fort" pour générer des gains significatifs lors de l'augmentation avec?

Cela peut être plus dans l'esprit d'ensachage, mais néanmoins:

• Si vous avez vraiment un bon apprenant, il n'est pas nécessaire de l'améliorer par des trucs d'ensemble.
• Je dirais ... non pertinent. En mélangeant et en ensachant trivialement, en augmentant la fabrication d'un classificateur trop fort, il peut y avoir des brèches dans la convergence (c'est-à-dire qu'une prédiction chanceuse peut faire l'itération suivante pour prédire le bruit pur et ainsi diminuer les performances), mais cela est généralement réparé lors des itérations.

• Encore une fois, ce n'est pas le vrai problème. Le cœur même de ces méthodes est de

  1. forcer les classificateurs partiels à approfondir le problème.
  2. joindre leurs prédictions pour atténuer le bruit et amplifier le signal.

  1) nécessite une certaine attention dans la stimulation (c.-à-d. Un bon schéma de stimulation, un bon comportement de l'apprenant partiel - mais cela doit principalement être jugé par des expériences sur l'ensemble de la stimulation), 2) dans l'ensachage et le mélange (principalement comment garantir le manque de corrélation entre les apprenants) et ne sur-bruits pas l’ensemble). Tant que cela est OK, la précision du classificateur partiel est un problème de troisième ordre.

Premièrement, les notions de «faible» et de «fort» ne sont que faiblement définies. De mon point de vue, ils doivent être définis par rapport au classificateur Bayes optimal, qui est la cible de tout algorithme de formation. Dans cet esprit, ma réponse à trois des points est la suivante.

1. Calcul comme je le vois. La plupart des apprenants faibles que je connais sont rapides sur le plan des calculs (et ne méritent pas d'être pris en considération). Un point majeur de l'apprentissage d'ensemble est précisément que nous pouvons combiner des apprenants simples et rapides, mais pas si bons, et améliorer le taux d'erreur. Si nous utilisons des apprenants plus forts (et plus exigeants sur le plan du calcul), la marge d’amélioration devient plus petite, mais le coût de calcul devient plus grand, ce qui rend l’utilisation des méthodes d’ensemble moins intéressante. De plus, un seul apprenant fort peut être plus facile à interpréter. Cependant, ce qui est faible et ce qui est fort dépend du problème et du taux Bayes optimal que nous essayons d'atteindre. Par conséquent, si un apprenant qui est souvent considéré comme fort laisse encore de la place pour des améliorations lors de sa stimulation et que la stimulation est faisable sur le plan informatique, alors boostez ...
2. Cela dépendra des critères que vous utilisez pour mesurer "optimal". En termes de taux d'erreur, je dirais non (j'accueille favorablement toute correction si d'autres ont une expérience différente). En termes de vitesse, peut-être, mais j'imagine que cela dépend fortement du problème. Je ne connais aucune littérature traitant de cela, désolé.
3. ?
4. Validation croisée, validation croisée, validation croisée. Comme toute autre comparaison des méthodes de formation dans le but de faire des prédictions, nous avons besoin d'estimations non biaisées de l'erreur de généralisation pour la comparaison, qui peuvent être obtenues en mettant de côté un ensemble de données de test ou en l'approximant par validation croisée.