Grande table
Un système de stockage distribué pour les données structurées
Bigtable est un système de stockage distribué (construit par Google) pour gérer les données structurées qui est conçu pour évoluer vers une très grande taille: des pétaoctets de données sur des milliers de serveurs de base.
De nombreux projets de Google stockent des données dans Bigtable, notamment l'indexation Web, Google Earth et Google Finance. Ces applications imposent des exigences très différentes à Bigtable, à la fois en termes de taille des données (des URL aux pages Web en passant par l'imagerie satellite) et aux exigences de latence (du traitement en bloc backend au service de données en temps réel).
Malgré ces demandes variées, Bigtable a réussi à fournir une solution flexible et hautes performances pour tous ces produits Google.
Certaines fonctionnalités
- SGBD rapide et à très grande échelle
- une carte triée multidimensionnelle distribuée et clairsemée, partageant les caractéristiques des bases de données orientées lignes et colonnes.
- conçu pour évoluer dans la gamme de pétaoctets
- il fonctionne sur des centaines ou des milliers de machines
- il est facile d'ajouter plus de machines au système et de commencer automatiquement à tirer parti de ces ressources sans aucune reconfiguration
- chaque table a plusieurs dimensions (dont l'une est un champ pour le temps, permettant le contrôle de version)
- les tables sont optimisées pour GFS (Google File System) en étant divisées en plusieurs tablettes - des segments de la table divisés le long d'une ligne choisie de telle sorte que la tablette aura une taille de ~ 200 mégaoctets.
Architecture
BigTable n'est pas une base de données relationnelle. Il ne prend pas en charge les jointures ni les requêtes riches de type SQL. Chaque table est une carte clairsemée multidimensionnelle. Les tableaux sont constitués de lignes et de colonnes, et chaque cellule a un horodatage. Il peut y avoir plusieurs versions d'une cellule avec des horodatages différents. L'horodatage permet des opérations telles que «sélectionner des versions de cette page Web» ou «supprimer des cellules antérieures à une date / heure spécifique».
Afin de gérer les énormes tables, Bigtable divise les tables aux limites des lignes et les enregistre sous forme de tablettes. Une tablette fait environ 200 Mo et chaque machine enregistre environ 100 tablettes. Cette configuration permet aux tablettes d'une même table d'être réparties sur plusieurs serveurs. Il permet également un équilibrage de charge à grain fin. Si une table reçoit de nombreuses requêtes, elle peut supprimer d'autres tablettes ou déplacer la table occupée vers une autre machine qui n'est pas si occupée. De plus, si une machine tombe en panne, une tablette peut être répartie sur de nombreux autres serveurs afin que l'impact sur les performances d'une machine donnée soit minime.
Les tables sont stockées sous forme de SSTables immuables et d'une queue de journaux (un journal par machine). Lorsqu'une machine manque de mémoire système, elle compresse certaines tablettes à l'aide des techniques de compression propriétaires de Google (BMDiff et Zippy). Les compactages mineurs n'impliquent que quelques tablettes, tandis que les compactages majeurs impliquent l'ensemble du système de table et récupèrent de l'espace sur le disque dur.
Les emplacements des comprimés Bigtable sont stockés dans des cellules. La recherche d'une tablette particulière est gérée par un système à trois niveaux. Les clients obtiennent un point sur une table META0, dont il n'y en a qu'un. Le tableau META0 conserve la trace de nombreux comprimés META1 qui contiennent les emplacements des comprimés recherchés. META0 et META1 font un usage intensif de la prélecture et de la mise en cache pour minimiser les goulots d'étranglement dans le système.
la mise en oeuvre
BigTable est construit sur Google File System (GFS), qui est utilisé comme magasin de sauvegarde pour les fichiers journaux et de données. GFS fournit un stockage fiable pour SSTables, un format de fichier propriétaire de Google utilisé pour conserver les données de la table.
Chubby est un autre service dont BigTable fait un usage intensif : un service de verrouillage distribué hautement disponible et fiable. Chubby permet aux clients de prendre un verrou, éventuellement en l'associant à certaines métadonnées, qu'il peut renouveler en renvoyant des messages keep alive à Chubby. Les verrous sont stockés dans une structure de dénomination hiérarchique de type système de fichiers.
Le système Bigtable présente trois types de serveurs principaux :
- Serveurs maîtres: affectez des tablettes aux serveurs de tablettes, gardez une trace de l'emplacement des tablettes et redistribuez les tâches selon les besoins.
- Serveurs de tablettes: gérez les demandes de lecture / écriture pour les tablettes et les tablettes fractionnées lorsqu'elles dépassent les limites de taille (généralement 100 à 200 Mo). Si un serveur de tablettes tombe en panne, alors 100 serveurs de tablettes ramassent chaque nouvelle tablette et le système se rétablit.
- Serveurs de verrouillage: instances du service de verrouillage distribué Chubby. De nombreuses actions dans BigTable nécessitent l'acquisition de verrous, y compris l'ouverture de tablettes pour l'écriture, garantissant qu'il n'y a pas plus d'un maître actif à la fois et la vérification du contrôle d'accès.
Exemple tiré du document de recherche de Google:
Tranche d'un exemple de tableau qui stocke des pages Web. Le nom de la ligne est une
URL inversée . La famille de colonnes de contenu contient le contenu de la page et la famille de colonnes d'ancrage contient le
texte des ancres faisant référence à la page. La page d'accueil de CNN est référencée à la fois par les pages d'accueil Sports Illustrated et MY-look, de sorte que la ligne contient des colonnes nommées
anchor:cnnsi.comet
anchor:my.look.ca. Chaque cellule d'ancrage a une version ; la colonne de contenu a trois versions , à horodatages
t3, t5et t6.
API
Les opérations typiques de BigTable sont la création et la suppression de tables et de familles de colonnes, l'écriture de données et la suppression de colonnes d'une ligne. BigTable fournit ces fonctions aux développeurs d'applications dans une API. Les transactions sont prises en charge au niveau de la ligne, mais pas sur plusieurs clés de ligne.
Voici le lien vers le PDF du document de recherche .
Et ici, vous pouvez trouver une vidéo montrant Jeff Dean de Google dans une conférence à l'Université de Washington , discutant du système de stockage de contenu Bigtable utilisé dans le backend de Google.
