Si je comprends bien, les réseaux de neurones profonds effectuent un "apprentissage de la représentation" en superposant les caractéristiques ensemble. Cela permet d'apprendre des structures dimensionnelles très élevées dans les entités. Bien sûr, c'est un modèle paramétrique avec un nombre fixe de paramètres, il a donc la limitation habituelle que la complexité du modèle peut être difficile à régler.
Existe-t-il un moyen bayésien (non paramétrique) d'apprendre de telles structures dans l'espace des caractéristiques, permettant à la complexité du modèle de s'adapter aux données? Les modèles associés incluent:
- Dirichlet traite des modèles de mélange, qui permettent de partitionner l'espace en clusters illimités, permettant aux données de choisir un nombre fini
- des modèles factoriels comme l'Indian Buffet Process (IBP), qui trouvent un nombre potentiellement infini de caractéristiques latentes (aka sujets) qui expliquent les données.
Cependant, il semble que l'IBP n'apprenne pas les représentations profondes. Il y a aussi le problème que ces méthodes sont conçues pour un apprentissage non supervisé et nous utilisons généralement l'apprentissage en profondeur pour les tâches supervisées. Existe-t-il une variante de l'IBP ou d'autres méthodes qui permettent aux représentations de croître à mesure que les données l'exigent?