Comment les services avec des taux d'ingestion élevés installent-ils suffisamment de disques durs assez rapidement?

Amazon, Facebook et Google doivent accepter des To sinon des PB par jour, ce qui signifie qu'ils ont des gens qui installent continuellement de nouveaux disques durs et câbles dans de nouveaux racks de la même manière que vous pourriez construire un serveur normal, ou existe-t-il une technologie différente utilisée pour connecter des disques en masse?

Je ne sais pas si l'un d'eux installe réellement du matériel un serveur à la fois. En 2008, MS a commencé à construire ses centres de données en faisant livrer les serveurs dans des conteneurs d'expédition scellés et précâblés de serveurs qu'ils devaient juste décharger d'un camion et brancher les connexions d'alimentation / réseau. Alors que la construction 08 était un mélange de conteneurs et traditionnel pour leur centre de données le plus récent, ils ont depuis opté pour une conception préfabriquée personnalisée qui résiste aux intempéries et n'a pas besoin d'être logée dans des bâtiments séparés.

Les deux HP et IBM vendent des paquets similaires avec des conteneurs remplis de serveurs préconfigurés qui ont juste besoin de puissance / connexions de données à déployer.

Google a plusieurs technologies développées en interne pour stocker ces énormes masses de données. En utilisant ces technologies, ils peuvent en fait ajouter des camions de disques durs dans leur cluster sans aucun temps d'arrêt, mais oui, ils ont toujours besoin de personnes pour le faire.

Pour autant que je sache sur le blog de Google, les deux parties principales sont le système de fichiers Google, qui est un système de fichiers distribué qui peut évoluer à très grande échelle: Google File System

Et en plus du système de fichiers Google, ils ont Big Table, qui est une sorte de base de données de valeurs clés et évolue également à grande échelle: Big Table

Pour garantir une haute disponibilité, tout est redondant plusieurs fois, plus de 3 fois dans la plupart des cas.

C'est exactement ça. Je me souviens qu'à un moment donné, les centres de données Facebook ajoutaient trois semi-remorques remplies de disques durs et de serveurs montés en rack dans la journée moyenne. Bien sûr, ils ont des schémas complexes pour rendre le stockage évolutif et redondant. Google, par exemple, a GFS . Facebook a trois centres de données juste pour leur équipement, chacun plus grand que deux Wal-Marts et un nouveau prévu quatre fois plus grand que leurs centres existants.

Avec des solutions de stockage Open Compute de nouvelle génération capables de contenir 180 To de disque dans 4 unités de rack, un PB n'est pas vraiment une énorme quantité d'espace: ajouter 1PB par jour signifierait le racking de 5 serveurs de ce type par jour, pas un gros problème. Mieux encore, ceux-ci peuvent être achetés pour environ 10 000 $, ce qui signifie que vous payez moins de 60 $ par To.

Alors oui, la technologie est à la disposition de nous tous pour faire de même, à un prix qui ne casse pas la banque.

Mais vous devez garder à l'esprit que les grandes entreprises obtiennent toujours de meilleures offres et signer de gros contrats pour se procurer de grandes quantités de stockage. Ils peuvent recevoir de petites expéditions réparties sur l'année, mais ce n'est pas comme s'ils commandaient seulement 1PB à la fois.

Voici un article de blog intéressant de BackBlaze sur la façon dont ils font cela (ils n'ont probablement pas besoin d'autant de disques que Google ou Facebook, mais tout de même un peu), et ce qu'ils devaient faire quand il y avait des inondations en Thaïlande qui ont fait du disque dur cher et plus difficile à vivre:

http://blog.backblaze.com/2012/10/09/backblaze_drive_farming/