Relation entre le taux d'apprentissage et le nombre de couches cachées?

Existe-t-il une règle empirique entre la profondeur d'un réseau neuronal et le taux d'apprentissage? J'ai remarqué que plus le réseau est profond, plus le taux d'apprentissage doit être faible.

Si c'est exact, pourquoi?

Cette question a été répondue ici:

Avec les réseaux de neurones, le taux d'apprentissage devrait-il être en quelque sorte proportionnel à la taille des couches cachées? Doivent-ils s’affecter mutuellement?

La réponse courte est oui, il y a une relation. Bien que la relation ne soit pas aussi triviale, tout ce que je peux vous dire, c'est que la surface d'optimisation devient plus complexe à mesure que le nombre de couches cachées augmente, donc des taux d'apprentissage plus petits sont généralement meilleurs. Bien que le blocage dans les minima locaux soit une possibilité avec un faible taux d'apprentissage, c'est beaucoup mieux qu'une surface complexe et un taux d'apprentissage élevé.