La question initiale concernait spécifiquement les implémentations de TensorFlow. Cependant, les réponses concernent les implémentations en général. Cette réponse générale est également la bonne réponse pour TensorFlow.
Lors de l'utilisation de la normalisation par lots et de l'abandon dans TensorFlow (en particulier en utilisant les contrib.layers), dois-je m'inquiéter de la commande?
Il semble possible que si j'utilise une suppression suivie immédiatement d'une normalisation par lots, il peut y avoir des problèmes. Par exemple, si le décalage dans la normalisation par lots s'entraîne vers les numéros d'échelle plus grands des sorties d'apprentissage, mais que ce même décalage est appliqué aux numéros d'échelle plus petits (en raison de la compensation pour avoir plus de sorties) sans abandon pendant le test, alors que le quart de travail peut être désactivé. La couche de normalisation par lots TensorFlow compense-t-elle automatiquement cela? Ou cela n'arrive-t-il pas pour une raison quelconque qui me manque?
En outre, y a-t-il d'autres pièges à éviter lors de l'utilisation de ces deux éléments ensemble? Par exemple, en supposant que je les utilise dans le bon ordre par rapport à ce qui précède (en supposant qu'il y ait un ordre correct), pourrait-il y avoir des problèmes avec l'utilisation de la normalisation par lots et de la suppression sur plusieurs couches successives? Je ne vois pas immédiatement de problème avec cela, mais il me manque peut-être quelque chose.
Merci beaucoup!
METTRE À JOUR:
Un test expérimental semble suggérer que la commande est importante. J'ai couru le même réseau deux fois avec seulement la norme de lot et l'inverse de la suppression. Lorsque le décrochage est avant la norme du lot, la perte de validation semble augmenter à mesure que la perte d'entraînement diminue. Ils tombent tous les deux dans l'autre cas. Mais dans mon cas, les mouvements sont lents, donc les choses peuvent changer après plus d'entraînement et ce n'est qu'un seul test. Une réponse plus définitive et informée serait toujours appréciée.