Différence entre les réseaux de neurones temporisés et les réseaux de neurones récurrents

J'aimerais utiliser un réseau neuronal pour prédire des séries temporelles financières. Je viens d'un milieu informatique et j'ai une certaine connaissance des réseaux de neurones et j'ai lu à ce sujet:

• TDNN
• RNN

Je cherchais des packages R pour eux et je n'en ai trouvé qu'un pour RNN, le package RSNNS qui a des implémentations elman et jordan qui sont RNN.

Les réseaux de neurones récurrents sont-ils donc utiles à utiliser avec des séries temporelles (financières)? Puisqu'ils (citation du lien wikipedia sur RNN cité précédemment):

À chaque pas de temps, l'entrée est propagée d'une manière anticipée standard, puis une règle d'apprentissage est appliquée. Les connexions fixes de retour font que les unités de contexte conservent toujours une copie des valeurs précédentes des unités cachées (puisqu'elles se propagent sur les connexions avant l'application de la règle d'apprentissage). Ainsi, le réseau peut maintenir une sorte d'état, lui permettant d'effectuer des tâches telles que la prédiction de séquence qui dépassent la puissance d'un perceptron multicouche standard.

ne sont pas en pratique les mêmes que les réseaux neuronaux temporisés? Sinon, quelles sont les différences avec les réseaux neuronaux temporisés? Les deux sont-ils adaptés à une utilisation avec des séries temporelles ou lequel est le plus approprié?

Merci d'avance!

Je n'ai jamais travaillé avec des réseaux récurrents, mais d'après ce que je sais, dans la pratique, certains RNN et TDNN peuvent être utilisés dans le même but que vous le souhaitez: Prédire les valeurs de séries chronologiques. Cependant, ils fonctionnent différemment.

C'est possible avec TDNN:

• Prédire les valeurs du processus
• Trouvez une relation entre deux processus.

Certains RNN, comme NARX vous permettent également de le faire, et il est également utilisé pour prédire des séries temporelles financières, généralement meilleures que TDNN.

Un TDNN ressemble plus à un réseau à action directe, car l'aspect temporel n'est inséré que par ses entrées, contrairement au NARX qui a également besoin de la valeur future prédite / réelle en entrée. Cette caractéristique rend TDNN moins robuste que NARX pour la prédiction de valeurs, mais nécessite moins de traitement et est plus facile à former.

Si vous essayez de trouver une relation entre un processus et un processus , NARX vous oblige à avoir des valeurs passées de , contrairement à TDNN .$X(t)$$Y(t)$$Y$

Je recommande de lire Neural Networks: A Comprehensive Foundation de Simon Haykin (2e édition) et cette FAQ . Il existe de nombreuses architectures et variantes de réseaux de neurones. Parfois, ils ont de nombreux noms ou il n'y a pas de consensus sur leur classification.

Les TDNN sont un moyen simple de représenter une correspondance entre les valeurs passées et présentes. Les retards dans le TDNN restent constants tout au long de la procédure de formation et sont estimés auparavant à l'aide d'essais et d'erreurs avec quelques heuristiques. Cependant, il se peut que ces retards fixes ne capturent pas les emplacements temporels réels des dépendances temporelles. D'un autre côté, la fonction "mémoire" des structures RNN peut capturer ces informations en apprenant ces dépendances. Le problème avec les RNN est qu'ils ne sont pas pratiques à utiliser lorsqu'ils sont formés avec des techniques traditionnelles (par exemple la rétropropagation dans le temps) pour l'apprentissage des dépendances à long terme. Ce problème découle de ce que l'on appelle la "disparition / explosion" gradient qui signifie essentiellement que lorsque nous propagons les signaux d'erreur vers l'arrière à travers la structure des réseaux, ils ont tendance à disparaître ou à exploser. Les structures récurrentes plus avancées (par exemple LSTM) ont des propriétés qui atténuent ce problème et peuvent apprendre des dépendances à long terme et sont particulièrement adaptées à l'apprentissage de données séquentielles.