Statistiques et Big Data rnn

3

RNN pour des intervalles de temps irréguliers?

Les RNN sont remarquablement bons pour capturer la dépendance temporelle des données séquentielles. Cependant, que se passe-t-il lorsque les éléments de séquence ne sont pas également espacés dans le temps? Par exemple, la première entrée dans la cellule LSTM se produit le lundi, puis aucune donnée du mardi au jeudi, …

13 machine-learning neural-networks lstm rnn unevenly-spaced-time-series

2

Quelle est l'intuition derrière un réseau neuronal récurrent de mémoire à court terme (LSTM)?

L'idée derrière le réseau neuronal récurrent (RNN) est claire pour moi. Je le comprends de la manière suivante: nous avons une séquence d'observations ( ) (ou, en d'autres termes, des séries temporelles multivariées). Chaque observation est un vecteur numérique à dimensions. Dans le modèle RNN, nous supposons que la prochaine …

11 time-series neural-networks predictive-models intuition rnn

1

Quelle fonction de perte dois-je utiliser pour noter un modèle seq2seq RNN?

Je travaille sur le papier Cho 2014 qui a introduit l'architecture codeur-décodeur pour la modélisation seq2seq. Dans l'article, ils semblent utiliser la probabilité de l'entrée donnée en sortie (ou sa probabilité de log négatif) comme fonction de perte pour une entrée de longueur et une sortie de longueur :M y …

10 deep-learning loss-functions rnn

1

RNN avec la régularisation L2 cesse d'apprendre

J'utilise un RNN bidirectionnel pour détecter un événement d'occurrence déséquilibrée. La classe positive est 100 fois moins souvent que la classe négative. Sans utilisation de régularisation, je peux obtenir une précision de 100% sur le train et de 30% sur le jeu de validation. J'active la régularisation l2 et le …

10 neural-networks deep-learning regularization rnn

1

Comprendre la topologie LSTM

Comme beaucoup d'autres, j'ai trouvé les ressources ici et ici extrêmement utiles pour comprendre les cellules LSTM. Je suis convaincu que je comprends comment les valeurs circulent et sont mises à jour, et je suis assez confiant pour ajouter les "connexions judas" mentionnées, etc. également. Dans mon exemple, j'ai à …

9 machine-learning neural-networks lstm rnn

1

Combien de paramètres y a-t-il dans une couche de réseau neuronal récurrent (RNN)?

Le titre dit tout - combien de paramètres entraînables y a-t-il dans une couche GRU? Ce type de question revient souvent lorsque l'on tente de comparer des modèles de différents types de couches RNN, tels que les unités de mémoire à court terme (LSTM) vs GRU, en termes de performances …

9 neural-networks rnn gru

2

Quelle est la sortie d'un tf.nn.dynamic_rnn ()?

Je ne suis pas sûr de ce que je comprends de la documentation officielle, qui dit: Renvoie: Une paire (sorties, état) où: outputs: Le tenseur de sortie RNN. Si time_major == False( par défaut), ce sera une forme Tensor: [batch_size, max_time, cell.output_size]. Si time_major == True, ce sera une forme …

8 deep-learning lstm tensorflow rnn gru

2

Identifiabilité des modèles de réseaux de neurones

Il est assez intuitif que la plupart des topologies / architectures de réseaux de neurones ne soient pas identifiables. Mais quels sont les résultats bien connus sur le terrain? Existe-t-il des conditions simples qui permettent / empêchent l’identifiabilité? Par exemple, tous les réseaux avec des fonctions d'activation non linéaires et …

8 neural-networks conv-neural-network rnn identifiability

1

RNN apprenant les ondes sinusoïdales de différentes fréquences

Comme échauffement avec des réseaux de neurones récurrents, j'essaie de prédire une onde sinusoïdale à partir d'une autre onde sinusoïdale d'une autre fréquence. Mon modèle est un simple RNN, sa passe avant peut s'exprimer comme suit: rtzt= σ(Wje n⋅Xt+Wr e c⋅rt - 1) )=Wo u t⋅rtrt=σ(Wjen⋅Xt+Wrec⋅rt-1))zt=Wout⋅rt \begin{aligned} r_t &= \sigma(W_{in} …

8 regression time-series neural-networks deep-learning rnn

2

Que se passe-t-il lorsque nous alimentons une matrice 2D dans une couche LSTM

Supposons que j'alimente une matrice 2D de forme (99,13) en entrée d'une couche LSTM. J'ai n nombre de fichiers, où chacun contient (99,13) des vecteurs de taille. J'ai décidé de considérer 13 comme le nombre de fonctionnalités et 99 comme les pas de temps. (Lors de l'implémentation avec Keras, j'ai …

8 machine-learning lstm rnn

Questions marquées «rnn»