Deep learning vs arbres de décision et méthodes de boosting

18

Je recherche des articles ou des textes qui comparent et discutent (empiriquement ou théoriquement):

Les algorithmes de boosting et d' arbres de décision tels que Random Forests ou AdaBoost et GentleBoost ont été appliqués aux arbres de décision.

avec

Méthodes d'apprentissage en profondeur telles que les machines Boltzmann restreintes , la mémoire temporelle hiérarchique , les réseaux de neurones convolutifs , etc.

Plus précisément, quelqu'un connaît-il un texte qui discute ou compare ces deux blocs de méthodes ML en termes de vitesse, de précision ou de convergence? Je recherche également des textes qui expliquent ou résument les différences (par exemple les avantages et les inconvénients) entre les modèles ou les méthodes du deuxième bloc.

Tout pointeur ou réponse traitant directement de telles comparaisons serait grandement apprécié.

— Amelio Vazquez-Reina
source

1

Pouvez-vous être plus précis sur les types de données que vous consultez? Cela déterminera en partie quel type d'algorithme convergera le plus rapidement.

Je ne sais pas non plus comment comparer des méthodes comme le boosting et DL, car le boosting n'est en réalité qu'une collection de méthodes. Quels autres algorithmes utilisez-vous avec le boosting?

En général, les techniques DL peuvent être décrites comme des couches de codeurs / décodeurs. La pré-formation non supervisée fonctionne en pré-formant chaque couche en codant le signal, en décodant le signal, puis en mesurant l'erreur de reconstruction. L'optimisation peut ensuite être utilisée pour obtenir de meilleures performances (par exemple, si vous utilisez des auto-encodeurs de débruitage, vous pouvez utiliser la rétro-propagation).

Un bon point de départ pour la théorie DL est:

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.73.795&rep=rep1&type=pdf

ainsi que ceux-ci:

http://portal.acm.org/citation.cfm?id=1756025

(désolé, j'ai dû supprimer le dernier lien en raison du système de filtration SPAM)

Je n'ai inclus aucune information sur les RBM, mais ils sont étroitement liés (bien que personnellement un peu plus difficiles à comprendre au début).

— user5268
source

Merci @f (x), je suis intéressé par la classification des segments ou patchs de pixels (2D ou 3D), mais je voulais garder la question d'origine aussi générale que possible. Si différentes méthodes fonctionnent mieux sur différents types d'ensembles de données, je serais intéressé par une discussion sur ces différences.

— Amelio Vazquez-Reina

1

Généralement en termes de traitement d'image, les méthodes DL agissent comme des extracteurs de fonctionnalités qui peuvent ensuite être couplés avec des SVM pour effectuer la classification. Ces méthodes sont généralement comparables aux approches manuelles comme SIFT, SURF et HOG. Les méthodes DL ont été étendues à la vidéo avec CRBM gated et ISA. Les méthodes manuelles comprennent HOG / HOF, HOG3d et eSURF (voir Wang et al. 2009 pour une bonne comparaison).

— user5268

1

Grande question! Le renforcement adaptatif et l'apprentissage en profondeur peuvent être classés comme des réseaux d'apprentissage probabilistes. La différence est que «l'apprentissage profond» implique spécifiquement un ou plusieurs «réseaux de neurones», tandis que le «boosting» est un «algorithme de méta-apprentissage» qui nécessite un ou plusieurs réseaux d'apprentissage, appelés apprenants faibles, qui peuvent être «n'importe quoi» (c.-à-d. réseau de neurones, arbre de décision, etc.). L'algorithme de boost prend un ou plusieurs de ses réseaux d'apprenants faibles pour former ce qu'on appelle un "apprenant fort", ce qui peut "booster" de manière significative les résultats globaux des réseaux d'apprentissage (c'est-à-dire Microsoft Alto et Jones Face Detector, OpenCV).

— SensorVista
source