5 ans plus tard, les réseaux maxout sont-ils morts, et pourquoi?

Les réseaux Maxout étaient une idée simple mais brillante de Goodfellow et al. de 2013 aux cartes de fonctionnalités maximales pour obtenir un approximateur universel des activations convexes. La conception a été conçue pour être utilisée en conjonction avec le décrochage (puis récemment introduite) et a bien sûr abouti à des résultats de pointe sur des références telles que CIFAR-10 et SVHN.

Cinq ans plus tard, le décrochage est définitivement dans le jeu, mais qu'en est-il de maxout? Le document est encore largement cité dans des articles récents selon Google Scholar, mais il semble que pratiquement aucun n'utilise réellement la technique.

Maxout appartient donc au passé et, dans l'affirmative, pourquoi - qu'est-ce qui en a fait un acteur de référence en 2013 mais pas en 2018?

deep-learning dropout

— user209974
source

Ensuite, faites des recherches plus approfondies et vous serez peut-être le prochain Goodfellow.

— FauChristian

Fondamentalement, si vous lisez le document complet (en particulier, le résumé et la section 7), vous constatez que la principale réalisation reste une contribution marginale en plus de l'abandon.

Si vous voyez les résultats empiriques sur le tableau 5 (de la page 5) du document original du maxout , vous constatez que le taux de mauvaise classification n'est que très, très légèrement inférieur à celui des décrocheurs. (2,47% au lieu de 2,78%)

Cela pourrait expliquer l'intérêt relativement moindre pour le travail.

— Amrinder Arora
source

Merci pour votre réponse. La réduction de l'erreur de 2,78% à 2,47% est en fait une diminution de 11% du taux d'erreur. Pas un changeur de jeu mais toujours intéressant et certainement pas minuscule.

— user209974

Bon point. Si cela présente un intérêt pour votre application spécifique, cela vaut certainement la peine d'être étudié.

— Amrinder Arora