Comment créer des systèmes de fichiers partagés volumineux et évolutifs sur Linux chez AWS?

Quels sont les moyens acceptables / raisonnables / les meilleurs pour fournir un stockage partagé volumineux et évolutif chez AWS, exposé en tant que système de fichiers unique?

Nous réalisons actuellement des volumes EBS de 1 To ~ toutes les deux semaines et l'exportation NFS avec no_subtree_check et nohide. Dans cette configuration, des exportations distinctes apparaissent sous un seul montage sur le client. Cette disposition n'est pas très évolutive.

Les options que nous avons envisagées:

LVM2 avec ext4. resize2fs est trop lent.
Btrfs sur Linux. pas encore prêt pour les heures de grande écoute.
ZFS sur Linux. pas encore prêt pour les heures de grande écoute (bien que LLNL l'utilise)
ZFS sur Solaris. l'avenir de ce combo est incertain (pour moi), et un nouvel OS dans le mix
glusterfs. entendu surtout de bonnes histoires mais deux histoires effrayantes (et peut-être vieilles?).

La solution idéale fournirait le partage, une vue fs unique, une extensibilité facile, des instantanés et une réplication.

Merci d'avoir partagé vos idées et votre expérience.

— Reece
source

Avez-vous exécuté les chiffres à ce sujet? Cela me semble prohibitif ...

— Michael Hampton

Bonne question. La réponse est sorta, mais nous sommes en avance. Notre besoin de données est élevé et le besoin de calcul est explosif. Donc, ce qui coûte plus cher n'est pas clair: AWS avec un stockage coûteux et une solution informatique de pointe moins chère, ou local avec une informatique coûteuse et un stockage moins cher. (Je ne suis même pas convaincu que le coût de stockage entièrement chargé est vraiment moins cher.) Nous cacherions probablement des données d'archives dans Glacier pour réduire les coûts (les contraintes se produisent pour nous).

— Reece

N'oubliez pas les coûts de bande passante.

— Michael Hampton

À propos de ZFS, c'est soit Solaris soit FreeBSD, mais comme vous l'avez dit, l'avenir est quelque peu incertain pour Solaris et ZFS open-source est bloqué à la version 28 (quel que soit le système d'exploitation).

— Ouki

Et XFS (en plus de LVM)? Il est plus mature qu'ext4, et il est possible de faire des vidages incrémentiels du système de fichiers. Vous voudrez peut-être vérifier son article wikipedia et les références par rapport à ext4 qui y sont référencées.

— peterph
source

Merci, Petr. J'avais considéré (et oublié) le combo LVM + XFS. J'ai une certaine appréhension à propos de LVM2 et XFS, principalement autour de l'incertitude et de la nouvelle complexité opérationnelle pour nous. Je ne m'attends pas à obtenir quelque chose pour rien (c'est-à-dire un stockage extensible sans effort), mais je voudrais minimiser l'effort et les risques pour nous. Par exemple, quelle est l'implication de la perte d'un volume EBS faisant partie d'une matrice RAID1? Ce n'est peut-être pas un problème, mais à ce stade, ces questions créent de l'incertitude pour moi. À une époque de ZFS et de btrfs, j'espérais éviter une telle complexité.

— Reece

@Reece La question est de savoir si vous faites confiance au mappeur de périphériques - iirc, la plupart des LVM sont en fait des outils d'espace utilisateur soutenus par dm. Vous auriez cependant besoin d'un noyau pas trop ancêtre (2.6.33+ - voir wiki ).

— peterph