Statistiques et Big Data rnn

3

Quelle est la différence entre les réseaux de neurones feed-forward et récurrents?

Quelle est la différence entre un réseau de neurones feed-forward et récurrent ? Pourquoi voudriez-vous utiliser l'un sur l'autre? Existe-t-il d'autres topologies de réseau?

59 machine-learning neural-networks terminology rnn topologies

5

Comprendre les unités LSTM et les cellules

J'étudie les LSTM depuis un certain temps. Je comprends à un haut niveau comment tout fonctionne. Cependant, en les implémentant à l'aide de Tensorflow, j'ai remarqué que BasicLSTMCell nécessite un certain nombre d'unités (c'est-à-dire num_units) un paramètre. D'après cette explication très approfondie des LSTM, j'ai compris qu'une seule unité LSTM …

32 neural-networks terminology lstm rnn tensorflow

2

Signification (et preuve) de «RNN peut approximer n'importe quel algorithme»

Récemment, j'ai lu qu'un réseau neuronal récurrent peut se rapprocher de n'importe quel algorithme. Donc ma question est: qu'est-ce que cela signifie exactement et pouvez-vous me donner une référence où cela est prouvé?

28 references rnn

3

Quels sont les avantages d'empiler plusieurs LSTM?

Quels sont les avantages, pourquoi utiliserait-on plusieurs LSTM, empilés côte à côte, dans un réseau profond? J'utilise un LSTM pour représenter une séquence d'entrées en tant qu'entrée unique. Donc, une fois que j'ai cette représentation unique - pourquoi la repasserais-je? Je pose la question parce que je l'ai vu dans …

25 classification neural-networks deep-learning lstm rnn

1

Quels sont exactement les mécanismes d'attention?

Les mécanismes d'attention ont été utilisés dans divers articles sur le Deep Learning au cours des dernières années. Ilya Sutskever, responsable de la recherche chez Open AI, les a félicités avec enthousiasme: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello de l'Université Purdue a déclaré que les RNN et les LSTM devraient être abandonnés au …

23 time-series deep-learning lstm rnn attention

3

La perte d'entraînement augmente avec le temps [doublon]

Cette question a déjà des réponses ici : Comment un changement dans la fonction de coût peut-il être positif? (1 réponse) Que dois-je faire lorsque mon réseau de neurones n'apprend pas? (5 réponses) Fermé le mois dernier . Je forme un modèle (Recurrent Neural Network) pour classer 4 types de …

21 machine-learning neural-networks loss-functions rnn training-error

4

Différence entre la rétroaction RNN et LSTM / GRU

J'essaie de comprendre différentes architectures de réseaux de neurones récurrents (RNN) à appliquer aux données de séries chronologiques et je suis un peu confus avec les différents noms qui sont fréquemment utilisés lors de la description des RNN. La structure de la mémoire à court terme à long terme (LSTM) …

20 neural-networks lstm rnn

3

Pourquoi les poids des réseaux RNN / LSTM sont-ils partagés dans le temps?

Je me suis récemment intéressé aux LSTM et j'ai été surpris d'apprendre que les poids sont partagés dans le temps. Je sais que si vous partagez les pondérations dans le temps, vos séquences temporelles d'entrée peuvent être de longueur variable. Avec des poids partagés, vous avez beaucoup moins de paramètres …

20 machine-learning lstm rnn

2

Comment les réseaux de neurones récurrents peuvent-ils être utilisés pour la classification des séquences?

RNN peut être utilisé pour la prédiction ou le mappage séquence à séquence. Mais comment RNN peut-il être utilisé pour la classification? Je veux dire, nous donnons à une séquence entière une étiquette.

19 machine-learning neural-networks rnn

3

Différence entre les échantillons, les pas de temps et les caractéristiques du réseau neuronal

Je passe par le blog suivant sur le réseau de neurones LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ L'auteur remodèle le vecteur d'entrée X en [échantillons, pas de temps, caractéristiques] pour différentes configurations de LSTM. L'auteur écrit En effet, les séquences de lettres sont des pas de temps d'une caractéristique plutôt qu'un pas de temps …

17 neural-networks lstm rnn tensorflow tensor

1

Qu'est-ce que la classification temporelle connexionniste (CTC)?

Je cherche à faire un projet de reconnaissance optique de caractères (OCR). Après avoir fait quelques recherches, je suis tombé sur une architecture qui semble intéressante: CNN + RNN + CTC. Je connais les réseaux de neurones alambiqués (CNN) et les réseaux de neurones récurrents (RNN), mais qu'est-ce que la …

15 machine-learning deep-learning conv-neural-network rnn

1

RNN: quand appliquer le BPTT et / ou mettre à jour les pondérations?

J'essaie de comprendre l'application de haut niveau des RNN à l'étiquetage des séquences via (entre autres) l'article de Graves de 2005 sur la classification des phonèmes. Pour résumer le problème: nous avons un grand ensemble de formation composé de fichiers audio (d'entrée) de phrases simples et (de sortie) d'heures de …

15 lstm rnn

3

Pourquoi se propager dans le temps dans un RNN?

Dans un réseau de neurones récurrent, vous propagez généralement la propagation en plusieurs étapes, "déroulez" le réseau, puis la propagation en arrière sur la séquence d'entrées. Pourquoi ne mettez-vous pas simplement à jour les poids après chaque étape individuelle de la séquence? (l'équivalent de l'utilisation d'une longueur de troncature de …

14 time-series neural-networks backpropagation rnn

2

Pourquoi les RNN avec des unités LSTM peuvent-ils également souffrir de «gradients explosifs»?

J'ai une connaissance de base du fonctionnement des RNN (et en particulier des unités LSTM). J'ai une idée picturale de l'architecture d'une unité LSTM, c'est-à-dire une cellule et quelques portes, qui régulent le flux de valeurs. Cependant, apparemment, je n'ai pas complètement compris comment LSTM résout le problème des "gradients …

13 neural-networks lstm rnn backpropagation

3

Modèle de Markov caché vs réseau neuronal récurrent

Quels problèmes d'entrée séquentielle conviennent le mieux à chacun? La dimensionnalité d'entrée détermine-t-elle celle qui correspond le mieux? Les problèmes qui nécessitent une "mémoire plus longue" sont-ils mieux adaptés à un LSTM RNN, alors que les problèmes de modèles d'entrée cycliques (bourse, météo) sont plus facilement résolus par un HMM? …

13 time-series neural-networks hidden-markov-model rnn

Questions marquées «rnn»