Statistiques et Big Data backpropagation

2

Quel est l'avantage de la distribution normale tronquée dans l'initialisation des poids dans un réseau neuronal?

Lors de l'initialisation des poids de connexion dans un réseau de neurones à action directe, il est important de les initialiser de manière aléatoire pour éviter toute symétrie que l'algorithme d'apprentissage ne serait pas en mesure de briser. La recommandation que j'ai vue à divers endroits (par exemple dans le …

13 neural-networks backpropagation weights truncated-normal

2

Pourquoi les RNN avec des unités LSTM peuvent-ils également souffrir de «gradients explosifs»?

J'ai une connaissance de base du fonctionnement des RNN (et en particulier des unités LSTM). J'ai une idée picturale de l'architecture d'une unité LSTM, c'est-à-dire une cellule et quelques portes, qui régulent le flux de valeurs. Cependant, apparemment, je n'ai pas complètement compris comment LSTM résout le problème des "gradients …

13 neural-networks lstm rnn backpropagation

1

Forme matricielle de rétropropagation avec normalisation par lots

La normalisation des lots a été attribuée à des améliorations substantielles des performances dans les réseaux neuronaux profonds. De nombreux documents sur Internet montrent comment l'implémenter sur une base d'activation par activation. J'ai déjà implémenté backprop en utilisant l'algèbre matricielle, et étant donné que je travaille dans des langages de …

12 machine-learning neural-networks deep-learning backpropagation batch-normalization

2

Capture des motifs initiaux lors de l'utilisation de la rétropropagation tronquée dans le temps (RNN / LSTM)

Disons que j'utilise un RNN / LSTM pour faire une analyse de sentiment, qui est une approche à plusieurs (voir ce blog ). Le réseau est formé à travers une rétropropagation tronquée dans le temps (BPTT), où le réseau est déroulé pour seulement 30 dernières étapes comme d'habitude. Dans mon …

12 neural-networks deep-learning natural-language backpropagation

2

Comment la descente en gradient du mini-lot met-elle à jour les poids de chaque exemple dans un lot?

Si nous traitons par exemple 10 exemples dans un lot, je comprends que nous pouvons additionner la perte pour chaque exemple, mais comment fonctionne la rétropropagation en ce qui concerne la mise à jour des poids pour chaque exemple? Par exemple: Exemple 1 -> perte = 2 Exemple 2 -> …

12 neural-networks gradient-descent backpropagation tensorflow

1

Formation d'un réseau de neurones à convolution

Je travaille actuellement sur un logiciel de reconnaissance faciale qui utilise des réseaux de neurones à convolution pour reconnaître les visages. Sur la base de mes lectures, je me suis rendu compte qu'un réseau de neurones convolutionnels a partagé des poids, afin de gagner du temps pendant l'entraînement. Mais comment …

11 machine-learning neural-networks computer-vision backpropagation conv-neural-network

2

Comment former un SVM via la rétropropagation?

Je me demandais s'il était possible de former un SVM (par exemple linéaire, pour faciliter les choses) en utilisant la rétropropagation? Actuellement, je suis à un barrage routier, car je ne peux penser qu'à écrire la sortie du classificateur comme F( x ; θ , b ) = sgn ( …

10 machine-learning neural-networks svm gradient-descent backpropagation

2

Qu'est-ce que la pré-formation et comment pré-former un réseau neuronal?

Je comprends que la formation préalable est utilisée pour éviter certains des problèmes liés à la formation conventionnelle. Si j'utilise la rétropropagation avec, par exemple un encodeur automatique, je sais que je vais rencontrer des problèmes de temps car la rétropropagation est lente, et aussi que je peux rester coincé …

10 machine-learning neural-networks backpropagation rbm pre-training

2

Comment dériver des erreurs dans le réseau neuronal avec l'algorithme de rétropropagation?

De cette vidéo d'Andrew Ng vers 5h00 Comment sont δ3δ3\delta_3 et δ2δ2\delta_2dérivé? En fait, qu'est-ce queδ3δ3\delta_3 signifie même? δ4δ4\delta_4 est obtenu en comparant à y, une telle comparaison n'est pas possible pour la sortie d'une couche cachée, non?

10 machine-learning neural-networks backpropagation

1

Dégradés pour skipgram word2vec

Je passe en revue les problèmes liés aux problèmes d'affectation écrits de la classe d'apprentissage profond de Stanford NLP http://cs224d.stanford.edu/assignment1/assignment1_soln J'essaie de comprendre la réponse pour 3a où ils recherchent la dérivée du vecteur pour le mot central. Supposons que l'on vous donne un vecteur de mot prédit correspondant au …

9 self-study neural-networks backpropagation word2vec

2

Topologie du réseau neuronal récurrent (RNN): pourquoi toujours entièrement connecté?

J'ai commencé à lire sur les réseaux neuronaux récurrents (RNN) et la mémoire à court terme (LSTM) ... (... oh, pas assez de points de répétition ici pour lister les références ...) Une chose que je ne comprends pas: il semble toujours que les neurones dans chaque instance d'une couche …

8 machine-learning neural-networks backpropagation

1

Comment et pourquoi les MLP pour la classification différeraient-ils des MLP pour la régression? Différentes fonctions de rétropropagation et de transfert?

J'utilise deux perceptrons multicouches à action directe (MLP). Avec les mêmes données d'entrée (14 neurones d'entrée), je fais une classification (vrai / faux) et une régression (si vrai, "combien") ¹. Jusqu'à présent, je l' ai utilisé paresseusement Matlabs patternnet et FITNET , respectivement. Paresseusement, parce que je n'ai pas pris …

8 regression machine-learning backpropagation

Questions marquées «backpropagation»