Manière d'utiliser le réseau de neurones récurrents pour l'analyse de séries chronologiques

Les réseaux de neurones récurrents diffèrent des réseaux "normaux" par le fait qu'ils ont une couche "mémoire". En raison de cette couche, les NN récurrents sont supposés être utiles dans la modélisation de séries chronologiques. Cependant, je ne suis pas sûr de bien comprendre comment les utiliser.

Supposons que j'ai la série chronologique suivante (de gauche à droite):, [0, 1, 2, 3, 4, 5, 6, 7]mon objectif est de prédire le ipoint en utilisant des points i-1et i-2en tant qu'entrée (pour chacun i>2). Dans une ANN "régulière" et non récurrente, je traiterais les données comme suit:

 target| input
      2| 1 0
      3| 2 1
      4| 3 2
      5| 4 3
      6| 5 4
      7| 6 5 

Je créerais alors un réseau avec deux noeuds d'entrée et un noeud de sortie et l'entraînerais avec les données ci-dessus.

Comment faut-il modifier ce processus (le cas échéant) dans le cas de réseaux récurrents?

Ce que vous décrivez est en fait une approche de "fenêtre temporelle glissante" qui diffère des réseaux récurrents. Vous pouvez utiliser cette technique avec n’importe quel algorithme de régression. Cette approche présente une énorme limitation: les événements dans les entrées ne peuvent être corrélés qu’à d’autres entrées / sorties qui se trouvent à un maximum de t intervalles de temps séparés, où t est la taille de la fenêtre.

Par exemple, vous pouvez penser à une chaîne d'ordre Markov t. Les RNN n'en souffrent pas en théorie, mais dans la pratique, l'apprentissage est difficile.

Il est préférable d’illustrer un RNN par opposition à un réseau de feedfoward. Considérez le (très) réseau feedforward simple où est la sortie, la matrice de pondération et l'entrée.$y = Wx$$y$$W$$x$

Nous utilisons maintenant un réseau récurrent. Nous avons maintenant une séquence d'entrées, nous allons donc noter les entrées par pour la ième entrée. La sortie correspondante est ensuite calculée via .$x^{i}$$y^{i} = Wx^i + W_ry^{i-1}$

Ainsi, nous avons une autre matrice de pondération qui incorpore la sortie de l'étape précédente linéairement dans la sortie actuelle.$W_r$

C'est bien sûr une architecture simple. Le plus commun est une architecture où vous avez une couche cachée qui est connectée de manière récurrente à elle-même. Soit la couche cachée au pas de temps i. Les formules sont alors:$h^i$

Où est une fonction de non-linéarité / transfert appropriée comme le sigmoïde. et sont les poids de connexion entre la couche d'entrée et la couche cachée et la couche cachée et la couche de sortie. représente les poids récurrents.$\sigma$$W_1$$W_2$$W_r$

Voici un schéma de la structure:

Vous pouvez également envisager simplement d’utiliser un certain nombre de transformations de séries chronologiques pour les données d’entrée. Juste pour un exemple, les entrées pourraient être:

1. la valeur d'intervalle la plus récente (7)
2. la prochaine valeur d'intervalle la plus récente (6)
3. le delta entre le plus récent et le plus récent (7-6 = 1)
4. la troisième valeur d'intervalle la plus récente (5)
5. le delta entre le deuxième et le troisième plus récent (6-5 = 1)
6. la moyenne des trois derniers intervalles ((7 + 6 + 5) / 3 = 6)

Ainsi, si vos entrées dans un réseau de neurones conventionnels étaient ces six données transformées, il ne serait pas difficile pour un algorithme de rétropropagation ordinaire d'apprendre le modèle. Vous devrez cependant coder pour les transformations qui prennent les données brutes et les transforment en les 6 entrées ci-dessus de votre réseau de neurones.

Les réseaux de neurones cohérents historiques (HCNN) sont une autre possibilité . Cette architecture est peut-être plus appropriée pour la configuration mentionnée ci-dessus car elle élimine la distinction souvent arbitraire entre variables d'entrée et de sortie et tente de reproduire l'intégralité de la dynamique sous-jacente de l'ensemble du système via une formation avec tous les observables.

Lorsque je travaillais chez Siemens, j’ai publié un article sur cette architecture dans un livre de Springer Verlag: Zimmermann, Grothmann, Tietz, von Jouanne-Diedrich: Modélisation du marché, prévision et analyse des risques avec des réseaux de neurones historiques cohérents

Juste pour donner une idée du paradigme, voici un court extrait:

Dans cet article, nous présentons un nouveau type de NN récurrent appelé réseau de neurones cohérent historique (HCNN). Les HCNN permettent la modélisation de systèmes dynamiques non linéaires hautement interactifs sur plusieurs échelles de temps. Les HCNN ne font pas de distinction entre les entrées et les sorties, mais modélisent des observables intégrées dans la dynamique d'un grand espace d'états.

[...]

Le RNN est utilisé pour modéliser et prévoir un système dynamique ouvert en utilisant une approche de régression non linéaire. De nombreuses applications techniques et économiques du monde réel doivent toutefois être envisagées dans le contexte de grands systèmes dans lesquels diverses dynamiques (non linéaires) interagissent dans le temps. Projeté sur un modèle, cela signifie que nous ne faisons pas de distinction entre les entrées et les sorties, mais parlons d’observables. En raison de l'observabilité partielle des grands systèmes, nous avons besoin d'états cachés pour pouvoir expliquer la dynamique des observables. Les observables et les variables cachées doivent être traités par le modèle de la même manière. Le terme observables englobe les variables d’entrée et de sortie (c.-à-d.$Y_τ := (y_τ, u_τ)$). Si nous sommes en mesure de mettre en œuvre un modèle dans lequel la dynamique de toutes les observables peut être décrite, nous serons en mesure de fermer le système ouvert.

... et de la conclusion:

La modélisation conjointe des variables cachées et observées dans les grands réseaux de neurones récurrents ouvre de nouvelles perspectives en matière de planification et de gestion des risques. L'approche d'ensemble basée sur HCNN offre une approche alternative pour la prévision des distributions de probabilité futures. Les HCNN décrivent parfaitement la dynamique des observables dans le passé. Cependant, l'observabilité partielle du monde entraîne une reconstruction non unique des variables cachées et, par conséquent, différents scénarios futurs. Comme le véritable développement de la dynamique est inconnu et que tous les chemins ont la même probabilité, la moyenne de l'ensemble peut être considérée comme la meilleure des prévisions, alors que la largeur de bande de la distribution décrit le risque du marché. Aujourd'hui, Nous utilisons les prévisions de HCNN pour prévoir les prix de l'énergie et des métaux précieux afin d'optimiser le calendrier des décisions d'achat. Les travaux en cours concernent l'analyse des propriétés de l'ensemble et la mise en œuvre de ces concepts dans des applications pratiques de gestion des risques et de marchés financiers.

Certaines parties du document peuvent être visionnées publiquement: ici