Questions marquées «backpropagation»

La rétropropagation, une abréviation de «propagation vers l'arrière des erreurs», est une méthode courante de formation des réseaux de neurones artificiels utilisée en conjonction avec une méthode d'optimisation telle que la descente de gradient.

6
Est-il possible de former un réseau de neurones sans rétropropagation?
De nombreux ouvrages et tutoriels sur les réseaux de neurones consacrent beaucoup de temps à l'algorithme de rétropropagation, qui est essentiellement un outil permettant de calculer le gradient. Supposons que nous construisons un modèle avec ~ 10K paramètres / poids. Est-il possible d'exécuter l'optimisation à l'aide d'algorithmes d'optimisation sans gradient? …
1
Quelle est la différence entre softmax_cross_entropy_with_logits et softmax_cross_entropy_with_logits_v2?
Plus précisément, je suppose que je m'interroge sur cette affirmation: Les futures versions majeures de TensorFlow permettront par défaut aux gradients de s’intégrer dans l’entrée des étiquettes sur backprop. Qui est montré quand j'utilise tf.nn.softmax_cross_entropy_with_logits. Dans le même message, il m’incite à regarder tf.nn.softmax_cross_entropy_with_logits_v2. J'ai parcouru la documentation, mais elle …
6
Propagation du dos avec Softmax / Entropie croisée
J'essaie de comprendre comment fonctionne la rétropropagation pour une couche de sortie softmax / entropie croisée. La fonction d'erreur d'entropie croisée est E(t,o)=−∑jtjlogojE(t,o)=−∑jtjlog⁡ojE(t,o)=-\sum_j t_j \log o_j avec et comme cible et sortie au neurone , respectivement. La somme est sur chaque neurone dans la couche de sortie. lui-même est le …
2
Dans les réseaux neuronaux, pourquoi utiliser des méthodes de gradient plutôt que d'autres métaheuristiques?
Dans la formation de réseaux de neurones profonds et peu profonds, pourquoi les méthodes de gradient (par exemple descente de gradient, Nesterov, Newton-Raphson) sont-elles couramment utilisées, par opposition à d'autres métaheuristiques? Par métaheuristique, j'entends des méthodes telles que le recuit simulé, l'optimisation des colonies de fourmis, etc., qui ont été …
2
Pourquoi la rétropropagation ne fonctionne-t-elle pas lorsque vous initialisez les poids à la même valeur?
Pourquoi la rétropropagation ne fonctionne-t-elle pas lorsque vous initialisez tous les poids à la même valeur (disons 0,5), mais fonctionne bien lorsque des nombres aléatoires sont donnés? L'algorithme ne devrait-il pas calculer l'erreur et travailler à partir de là, malgré le fait que les poids soient initialement les mêmes?
2
Algorithme de rétropropagation
J'ai eu une légère confusion sur le algorithme de rétropropagation utilisé dans le perceptron multicouche (MLP). L'erreur est ajustée par la fonction de coût. En rétropropagation, nous essayons d'ajuster le poids des couches cachées. L'erreur de sortie que je peux comprendre, c'est-à-dire e = d - y[sans les indices]. Les …
3
Pourquoi se propager dans le temps dans un RNN?
Dans un réseau de neurones récurrent, vous propagez généralement la propagation en plusieurs étapes, "déroulez" le réseau, puis la propagation en arrière sur la séquence d'entrées. Pourquoi ne mettez-vous pas simplement à jour les poids après chaque étape individuelle de la séquence? (l'équivalent de l'utilisation d'une longueur de troncature de …
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.