Comment afficher les grandes séries chronologiques de manière interactive?

10

Je traite souvent une quantité raisonnable de données de séries chronologiques, 50 à 200 millions de doublons avec des horodatages associés et je voudrais les visualiser dynamiquement.

Existe-t-il un logiciel pour le faire efficacement? Qu'en est-il des bibliothèques et des formats de données? Zoom-cache est un exemple de bibliothèque se concentrant sur de grandes séries temporelles. Dans Zoom-cache, les données sont résumées à plusieurs résolutions pour faciliter la visualisation à différentes résolutions.

Edit: Aussi, s'il y a ailleurs, je devrais poser cette question ou chercher une réponse, faites le moi savoir

— Davorak
source

1

Bien que je ne sache pas comment il évoluera avec un si grand nombre de points de données, vous voudrez peut-être jeter un œil à Cubism.js .

— chl

J'ai jeté un coup d'œil au cubisme, qui semble bon pour les graphiques de mise à jour incrémentielle à partir de flux de données série, mais avec ma courte recherche, je n'ai rien vu sur la mise en cache de plusieurs résolutions ou de données récapitulatives pour accélérer de grands ensembles de données. C'est pour le pointeur bien qu'il ressemble à une bibliothèque sympa.

— Davorak

1

Zoomdata pourrait vous intéresser zoomdata.com/product/fast-data-sharpening-visualization Leur prix est cependant assez élevé.

— chhantyal

@chhantyal - Merci! Cela ressemble au type d'outil que je cherchais. Bien que je ne travaille plus avec les mêmes ensembles de données, je suis toujours intéressé par l'espace, donc je vais probablement essayer la piste de zoomdata à un moment donné.

— Davorak

2

Il existe un ensemble d'outils de recherche appelés TimeSearcher 1 à 3 qui fournissent des exemples de la façon de traiter de grands ensembles de données chronologiques. Voici quelques exemples d'images de TimeSearcher 2 et 3.

TimeSearcher 2

TimeSearcher 3

— edallme
source

2

Désolé pour l'auto-publicité, mais Thunderplot (thunderplot.com) serait un bon candidat. Je l'ai écrit exactement pour le traçage interactif de grands ensembles de données. Je ne l'ai pas testé avec des ensembles de données de 200KK lignes, mais cela fonctionne très bien avec ~ 10KK lignes. Il y a aussi la fonction "lire chaque Nième ligne", de sorte que vous pouvez réduire la quantité de données à stocker / visualiser. Je peux vous envoyer la clé d'enregistrement en échange de l'un de ces grands ensembles de données. :-)

capture d'écran thunderplot

— Vadim Kalinsky
source

0

Un autre article auto-promotionnel parce que je travaille pour cette entreprise, mais SensorCloud (sensorcloud.com) utilise des algorithmes intelligents pour représenter très rapidement des ensembles de données massifs. Il a été initialement conçu avec nos capteurs physiques à l'esprit, mais il dispose d'un téléchargeur CSV pour gérer toutes les données de série temporelle.

Par exemple, nous avons téléchargé un ensemble de données qui contenait 100 milliards de points de données (plus de 1 téraoctet d'horodatage + valeurs de données) et vous pouvez le représenter graphiquement et interagir avec lui très rapidement.

Voici un lien public vers cet ensemble de données: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/

Le lien ci-dessus utilise notre visionneuse flash. Si vous ne souhaitez pas utiliser le flash, voici la visionneuse javascript: https://sensorcloud.microstrain.com/SensorCloud/data/Z3MFURATHIB8A032/js/

Utilisez la molette de défilement ou Maj + clic gauche pour zoomer.

— rwstoneback
source