En recherchant au-delà du RAID pour un cluster de disques dans un serveur, le Dynamic Disk Pool est-il comparable? [fermé]

Avec le développement de systèmes hyperconvergés, on peut voir d'autres technologies que RAID pour gérer le stockage distribué (comme ceph par exemple ou VSAN ou le stockage distribué comme dans nutanix).

Mais existe-t-il une technologie open source dérivée du stockage d'objets que je peux utiliser sur un seul serveur avec beaucoup de gros disque, disons une douzaine de disques sata 12 To, qui garantira la sécurité des données mais sans l'inconvénient d'un temps de reconstruction énorme lors du remplacement d'un disque. Le Dynamic Disk Pool est donc une forme de RAID désagrégé qui peut être utilisé au niveau du bloc comme iscsi ou au niveau du système de fichiers comme zfs ou brtrfs.

Je voudrais fournir quelque chose de similaire à une baie SYNOLOGY (NFS, cible iscsi, SMB) mais sans RAID pour le stockage de blocs.

merci pour vos indications.

raid hard-drive storage

— dominix
source

Avez-vous envisagé (par exemple) une matrice RAID 5 avec un sixième disque comme disque de secours?

— Mike Waters

Tout le monde recommande de ne pas utiliser RAID5 pour les gros volumes. Btw raid5 ne signifie pas 5 disques. Mais oui, le disque de rechange est recommandé, mais j'ai déjà rencontré des problèmes avec le disque de rechange, parfois le disque de secours est mort parce qu'il tournait depuis des années avant d'être utilisé.

— dominix

Vous avez besoin de plus de disques. La seule solution pour reconstruire le retard est une redondance plus importante. Effacez également les codes.

— Dan D.19

Réponses:

Pour un seul système, je suggère vraiment de s'en tenir à des matrices RAID bien connues et performantes. Les magasins d'objets présentent une baisse significative des performances par rapport à l'accès classique aux blocs / fichiers et, si vous ne vous développez pas, vous perdez bon nombre de leurs avantages.

Cela dit, à l'exception du RAID classique, vous avez les possibilités suivantes:

sans peur , qui utilise une approche de réplication au niveau du fichier plutôt qu'une approche au niveau du bloc
glusterfs , configuration d'une brique différente pour chaque disque et application d'une replica 2stratégie
zfs qui, bien que basé sur des blocs, n'est pas 100% identique au RAID logiciel ou matériel classique

Notez également que le stockage d'objets ne garantit pas un temps de reconstruction plus court; bien au contraire, il s'attaque à de longues reconstructions en garantissant des politiques de réplication plus fortes (ie: replica 3sur différents racks).

— shodanshok
source

Le gros avantage de ZFS dans mon livre est qu'il peut en fait vous dire quels fichiers, le cas échéant, ont été corrompus; et si vous êtes capable de les lire, vous savez qu'ils ne sont pas corrompus. (Sauf si vous l'avez fait zfs set checksum=off, mais je ne peux pas imaginer pourquoi quelqu'un exécuterait ZFS et ferait cela.) Même en l'absence de redondance de stockage, cela peut être un gros avantage car vous saurez exactement lequel de vos boss ... euh , des feuilles de calcul importantes ... doivent être restaurées à partir de la sauvegarde.

— un CVn

"cela assurera la sécurité des données mais sans l'inconvénient d'un temps de reconstruction énorme lors du remplacement d'un disque"

Vous avez une illusion en ce que vous pensez que le logiciel peut changer la réalité - c'est-à-dire la physique. Les temps énormes de reconstruction se réduisent essentiellement à devoir écrire un disque complet et si vous écrivez 2 To d'informations sur un disque, cela prend beaucoup de temps PARCE QUE C'EST COMMENT LES DISQUES SE COMPORTENT. Particulièrement si vous DEVEZ lire plusieurs disques pour obtenir les données manquantes dans le premier pleace (Raid 5,6 analog). Il y a des détails sur la façon dont un logiciel "stupide" peut être (c'est-à-dire ajouter du temps en plus du minimum physique), mais le minimum est déjà des heures si vous parlez de grands disques SATA lents.

Toutes les autres technologies que vous mentionnez doivent respecter le même temps problématique que vous voulez éviter car - la physique.

Et cela n'aide pas que votre réseau de cluster - si vous effectuez la réplication du réseau - utilise 10g ou moins (ce qui est le cas le plus probable) au lieu de passer à 40g ou 100g.

— TomTom
source

Mon employeur fabrique un analyseur de réseau qui est essentiellement un PC standard avec des cartes réseau standard 2 * 100 GbE qui analyse le trafic de streaming vidéo non compressé en temps réel. Donc, ce n'est pas complètement bizarre, mais de manière pragmatique, oui, les vitesses de réseau vont probablement être un goulot d'étranglement supplémentaire.

— Jörg W Mittag

Eh bien, mes serveurs sont tous de 2 x 100 Go de nos jours - mais le service informatique de mon client principal vend la vitesse du réseau principal de 1 Go (!) En tant que «haute performance». Le monde semble fonctionner avec des propulseurs qui ne savent même pas ce qu'est le haut de gamme.

— TomTom

Le temps de reconstruction ne serait-il pas considérablement réduit si tous les disques étaient SSD?

— Mike Waters

Dépend. Ok, non - oui, ce serait réduit, mais SATA est également supérieur à 600 Mo / s et si vous exécutez un réseau hyperconvergent, cela signifie également qu'il doit passer par le réseau. Et vous n'avez même pas besoin de tous les SSD - un cache SSD décent devrait également aider à la lecture et à l'écriture (j'utilise un cache SSD de 3,6 Go sur chaque serveur). Mais vous avez vraiment besoin d'une épine dorsale pour gérer cela, alors.

— TomTom

Mike a dit SSD, pas SATA. Certains disques SSD connectés PCIe sont plus rapides que 600 Mo / s.

— Peter Cordes