Quels sont les cas d'utilisation d'Elasticsearch par rapport aux requêtes SQL standard? [fermé]

Je ne fais que commencer avec Elasticsearch et l'un des principaux cas d'utilisation que j'ai vus est son évolutivité avec des recherches sur de grands ensembles de données, mais à part cela, quand voudriez-vous l'utiliser simplement pour créer des requêtes SQL avec un SGBDR traditionnel?

Il existe deux principaux cas d'utilisation d'Elasticsearch:

1. Recherche de texte

Vous voulez Elasticsearch lorsque vous faites beaucoup de recherche de texte, où les bases de données SGBDR traditionnelles ne fonctionnent pas vraiment bien (mauvaise configuration, agit comme une boîte noire, mauvaises performances). Elasticsearch est hautement personnalisable, extensible via des plugins. Vous pouvez créer une recherche robuste sans trop de connaissances assez rapidement.

2. Journalisation et analyse

Un autre cas particulier est que beaucoup de gens utilisent Elasticsearch pour stocker des journaux de diverses sources (pour les centraliser), afin de pouvoir les analyser et en tirer un sens. Dans ce cas, Kibana devient pratique. Il vous permet de vous connecter au cluster Elasticsearch et de créer des visualisations immédiatement. Par exemple, Loggly est construit à l'aide d'Elasticsearch et de Kibana.

Gardez à l'esprit que vous ne voudriez pas utiliser Elasticsearch comme stockage de données principal. Raisons ici: Quelle est la fiabilité d'ElasticSearch en tant que banque de données principale par rapport à des facteurs tels que la perte d'écriture, la disponibilité des données

Mettre à jour

J'avais l'impression que la deuxième partie n'était plus énervée, c'est en fait ce qu'Elastic en tant qu'entreprise a très bien fait l'année dernière. Avec le mouvement DevOps actuel, les pipelines CI / CD, la quantité croissante de métriques provenant de diverses sources, ELK est devenu un choix de facto pour la surveillance de l'infrastructure, ce n'est plus seulement un moteur de recherche de texte RESTful distribué. Il a un ensemble incroyable de produits:

• Logstash (tonnes d'entrées de données)
• Beats
  • Filebeat
  • Metricbeat
  • Packetbeat
  • Winlogbeat
• Kibana
  • Graphique
  • Timelion
• X-Pack (premium)
  • Alertes
  • Rapports
  • Sécurité
  • Apprentissage automatique
  • Mesures croisées du centre de données

Un écosystème, construit par communauté, se développe autour de la pile ELK qui étend les fonctionnalités actuelles, dont peu méritent d'être mentionnées:

• ElastAlert
• Recherche Guard

Pour ajouter l'autre réponse, la journalisation est toujours un cas d'utilisation majeur ainsi que les recherches, mais maintenant les métriques et les analyses deviennent de plus en plus importantes.

Je pense que cet article résume les changements du marché qui génèrent de nouveaux cas d'utilisation du Big Data. Tout ce que vous devez vraiment savoir sur les bases de données Open Source

Avec l'avènement du Web 2.0, les pages Web statiques sont devenues dynamiques et les médias sociaux sont partout autour de nous. Tout le monde tweet, publie, blogue, vlog, partage des photos, bavarde et commente. L'Internet des objets (IoT) est en train d'émerger - un réseau en croissance rapide d'appareils connectés qui collectent et échangent des données, telles que des capteurs et des appareils intelligents. Il y a de bons exemples ici.

Au total, cela génère d'énormes quantités de nouvelles données que les entreprises souhaitent absorber et utiliser pour rester en tête, pour fournir des fonctionnalités telles que des recommandations de produits et une meilleure expérience client. Les données peuvent être analysées à la recherche de modèles pour des applications telles que la détection de fraude et l'analyse du comportement. La plupart des nouvelles données ne sont pas structurées, ce qui signifie qu'elles ne peuvent pas être soigneusement stockées dans une base de données tabulaire.

Imaginez que vous essayez de concevoir une base de données pour contenir des données sur votre épicerie - ce que vous aimez, à quelle fréquence vous l'achetez, si vous préférez du lait ou de la crème avec votre café. De nouveaux types de bases de données sont nécessaires pour stocker les nouvelles données, et elles doivent être non relationnelles et idéalement peu coûteuses. Sonner des cloches? Pas relationnel comme en NoSQL et low cost comme en open source.

L'un des architectes d'Elasticsearch avec qui j'ai parlé a déclaré que 80% des données avec lesquelles Elasticsearch travaille dans les entreprises ne sont pas structurées, tandis que 20% sont structurées. Ce sont les données non structurées que les entreprises recherchent pour découvrir des modèles de données rares ou inhabituels. Ils utilisent également Elasticsearch pour surveiller les modèles de données. Par exemple, un grand détaillant effectue un suivi en temps réel avec Elasticsearch afin de garantir un approvisionnement suffisant en argent dans les magasins pour que les gens puissent encaisser les chèques les jours de paie.

D'après ma propre expérience avec notre cas d'utilisation de recherche, nous n'utilisons pas seulement des recherches floues, mais cela a évolué vers des recherches rapides et à saisie automatique. D'après ce que j'ai vu, une fois que vous avez commencé à travailler avec Elasticsearch, vous commencez à évoluer vers d'autres cas d'utilisation qui complètent ce que vous avez déjà en place. Maintenant que nous avons établi Elasticsearch en tant que moteur de recherche flou dans notre entreprise, nous avons maintenant d'autres équipes qui recherchent des analyses et des mesures pour la journalisation.

Voici quelques ressources supplémentaires qui approfondissent ce sujet:

• Cas d'utilisation d'Elasticsearch, histoires d'utilisateurs
• Utilisations d'Elasticsearch
• Cas d'utilisation d'Elasticsearch Anaytics
• Cas d'utilisation d'Elasticsearch pour le stockage de documents
• Graphiques avec Elasticsearch
• Analyse médico-légale: les Panama Papers et la sagesse des foules
• Introduction à l'apprentissage automatique avec Elasticsearch