Utilisation de l'apprentissage en profondeur pour la prédiction de séries chronologiques

Je suis nouveau dans le domaine de l'apprentissage en profondeur et pour moi, la première étape a été de lire des articles intéressants sur le site deeeplearning.net. Dans des articles sur l'apprentissage en profondeur, Hinton et d'autres discutent principalement de l'appliquer à des problèmes d'image. Quelqu'un peut-il essayer de me répondre? Peut-il être appliqué au problème de la prévision des valeurs de séries chronologiques (données financières, trafic Internet, ...) et quelles sont les choses importantes sur lesquelles je devrais me concentrer si cela est possible?

Des travaux ont été menés sur l’adaptation de méthodes d’apprentissage approfondi aux données séquentielles. Une grande partie de ce travail a été consacrée au développement de "modules" pouvant être empilés de manière analogue à l’empilement de machines Boltzmann restreintes (RBM) ou d’auto-encodeurs pour former un réseau neuronal profond. Je vais en souligner quelques-uns ci-dessous:

• RBM conditionnels : Probablement l’une des applications les plus réussies d’apprentissage en profondeur pour les séries chronologiques. Taylor développe un modèle de type RBM qui ajoute des interactions temporelles entre les unités visibles et l'applique à la modélisation des données de capture de mouvement. Vous vous retrouvez essentiellement avec un système dynamique linéaire avec une certaine non-linéarité ajoutée par les unités cachées.
• RBM temporels : Dans sa thèse (section 3), Ilya Sutskever développe plusieurs modèles de type RBM avec des interactions temporelles entre unités. Il présente également quelques résultats intéressants montrant que la formation de réseaux de neurones récurrents avec SGD peut être aussi performante, voire meilleure, que des méthodes plus complexes, telles que l'algorithme sans hessian de Martens, utilisant une bonne initialisation et une équation légèrement modifiée pour l'élan.
• Autoencodeurs récursifs : Enfin, je mentionnerai le travail de Richard Socher sur l’utilisation des autoencodeurs récursifs pour l’analyse. Bien que ce ne soit pas une série chronologique, c'est certainement lié.

Oui, l'apprentissage en profondeur peut être appliqué aux prévisions de séries chronologiques. En fait, cela a déjà été fait à plusieurs reprises, par exemple:

• http://cs229.stanford.edu/proj2012/BussetiOsbandWong-DeepLearningForTimeSeriesModeling.pdf
• http://link.springer.com/article/10.1007/s00134-013-2964-2#page-1

Ce n’est pas vraiment un "cas spécial", l’apprentissage en profondeur concerne principalement la méthode de prétraitement (basée sur un modèle génératif), vous devez donc vous concentrer sur les mêmes choses que celles sur lesquelles vous vous concentrez lorsque vous effectuez un apprentissage en profondeur au sens traditionnel du terme. main, et les mêmes choses que vous vous concentrez tout en effectuant des prévisions de série chronologique sans apprentissage en profondeur.

Les réseaux de neurones récurrents sont considérés comme un type d'apprentissage en profondeur (DL). Je pense que ce sont les outils DL les plus populaires pour l’apprentissage (1d) séquence à séquence. Elles sont actuellement à la base des approches de neural machine translation (NMT) (une première en 2014 chez LISA (UdeM), Google et probablement quelques autres dont je ne me souviens pas).

Les séquences générées par Alex Graves avec des réseaux de neurones récurrents utilisent des réseaux récurrents et des cellules à mémoire à court terme pour prédire le texte et synthétiser l’écriture manuscrite.

Andrej Karpathy a écrit un blog sur la génération de séquences au niveau des personnages. Il utilise RNN dans son tutoriel.

Pour plus d'exemples, vous devriez regarder - Hochreiter, S., & Schmidhuber, J. (1997). Longue mémoire à court terme. Calcul neural, 9 (8), 1735-1780.

Cela aidera peut-être:

• I. Sutskever, O. Vinyals et QV V Le, «Séquence pour apprendre les séquences à l'aide de réseaux de neurones», dans Avancées des systèmes de traitement d'informations neuronaux, 2014, p. 3104–3112.

Si vous avez une définition précise de votre fenêtre temporelle sur les données telles que des phrases dans cet article ou dans des paragraphes, vous pourrez utiliser LSTM, mais je ne suis pas sûr de savoir comment trouver la fenêtre temporelle qui n’est pas évidente et qui est plus sensible au contexte. Un exemple de cela peut être le nombre de données de journal que vous voyez sont liées et ce n'est pas une évidence.