Ressources pour apprendre à mettre en œuvre des méthodes d'ensemble

Je comprends théoriquement (en quelque sorte) comment ils fonctionneraient, mais je ne sais pas comment faire pour utiliser une méthode d'ensemble (comme le vote, les mélanges pondérés, etc.).

• Quelles sont les bonnes ressources pour mettre en œuvre des méthodes d'ensemble?
• Existe-t-il des ressources particulières concernant l'implémentation en Python?

ÉDITER:

Pour éclaircir certains sur la base de la discussion sur les commentaires, je ne cherche pas d'algorithmes d'ensemble tels que randomForest, etc. Au lieu de cela, je me demande comment pouvez-vous combiner différentes classifications de différents algorithmes.

Par exemple, supposons que quelqu'un utilise la régression logistique, le SVM et d'autres méthodes pour prédire la classe d'une certaine observation. Quelle est la meilleure façon de capturer la meilleure estimation de la classe basée sur ces prédictions?

Un bon point de départ est d'obtenir un aperçu de l'apprentissage d'ensemble. Surtout, vous voudrez regarder le renforcement et l' ensachage . Une autre méthode était celle utilisée par l'équipe "L'Ensemble" dans le Prix Netflix, est appelée "mélange" ou empilement de fonctionnalités .

Ensuite, trouvez simplement quelques bibliothèques qui les implémentent et fonctionnent à partir de là. Un googling rapide est apparu scikit et orange , qui devraient tous deux avoir un sac et un boost (et ils sont tous les deux en Python).

Si au-delà de l' utilisation de méthodes d'ensemble, vous souhaitez en apprendre un peu sur la théorie, je pense que cet article serait un bon point de départ (suivez les références des parties qui vous intéressent).

À votre santé.

«Méthodes d'ensemble dans l'exploration de données: améliorer la précision en combinant les prédictions», Seni et Elder - Excellente référence sur la théorie et la mise en œuvre d'ensemble pratique, mais le code d'accompagnement est basé sur R.

«Machine Learning: An Algorithmic Perspective», S. Marsland - Excellent texte pratique basé sur Python, mais pas aussi dédié aux concepts d'ensemble purs que la première référence.

La réponse de Stumpy Joe Pete était parfaite, mais comme vous avez parlé d'une implémentation de Python, je voulais mentionner le projet de brassage de l'Universidade Federal de Pernambuco.

https://github.com/viisar/brew

from brew.base import Ensemble
from brew.base import EnsembleClassifier
from brew.combination import import Combiner

# create your Ensemble
clfs = your_list_of_classifiers # [clf1, clf2]
ens = Ensemble(classifiers = clfs)

# create your Combiner
# the rules can be 'majority_vote', 'max', 'min', 'mean' or 'median'
comb = Combiner(rule='majority_vote')

# now create your ensemble classifier
ensemble_clf = EnsembleClassifier(ensemble=ens, combiner=comb)
ensemble_clf.predict(X)

À ce stade, ils ont la génération d'ensemble, la combinaison, l'élagage et la sélection dynamique.

Limitations: classification uniquement; pas d'empilement dans la version publique actuelle; pas beaucoup de documentation.

Salford Systems a un progiciel appelé Random Forests qui l'implémente pour les ensembles d'arbres de classification et de régression. Je n'ai aucun forfait R gratuit à offrir. J'imagine qu'ils ont un manuel d'utilisation qui expliquera leur mise en œuvre. Par analogie, vous pourriez probablement trouver comment le faire pour d'autres méthodes d'ensemble.

J'ai trouvé ce tutoriel qui m'a été extrêmement utile. Il ne répond pas à toutes les pièces mais je pense que c'est un bon début de discussion: http://vikparuchuri.com/blog/intro-to-ensemble-learning-in-r/

Le guide d'assemblage Scikit-learn fournit l' ensachage et le renforcement des méta-classificateurs et des régresseurs. De plus, la bibliothèque mlxtend fournit des implémentations de méta-classificateurs et régresseurs d' empilement .