ceph est-il possible de gérer les matrices RAID matérielles (LUN) en tant que lecteurs OSD?

8

Je suis assez nouveau sur ceph et j'essaie de savoir si ceph prend en charge les adaptateurs de bus hôte de niveau matériel.

Malheureusement, je n'ai trouvé aucune information. Ce que j'ai trouvé, c'est qu'il est recommandé d'utiliser des disques simples pour OSD. Mais cela pousse les exigences vers le PCIe, les interfaces du disque vers des bandes passantes élevées et les exigences du processeur sont très élevées. Les contrôleurs RAID matériels ont déjà résolu ces exigences et ils fournissent une redondance élevée basée sur les configurations sans consommer mon PCIe, mon processeur ou toute autre ressource.

Donc, ma configuration souhaitée serait d'avoir des contrôleurs RAID locaux, qui gèrent ma redondance de disque au niveau du contrôleur (Raid 5, raid 6) quel que soit le niveau RAID dont j'ai besoin. En plus des LUN RAID, j'aimerais utiliser ceph pour effectuer le niveau de réplication supérieur entre: hôte, châssis, rack, ligne, centre de données ou tout ce qui est possible ou planifiable dans CRUSH

Des expériences dans cette configuration?

Est-ce une configuration recommandée?

Avez-vous une documentation détaillée sur cette intégration matérielle RAID?

— cilap
source

7

Vous pouvez ne signifie pas que vous devriez. Le mappage de LUN RAID à Ceph est possible, mais vous injectez une couche supplémentaire d'abstraction et rendez au moins une partie de la fonctionnalité Ceph inutile.

Fil similaire sur leur liste de diffusion:

http://lists.ceph.com/pipermail/ceph-users-ceph.com/2017-September/021159.html

— BaronSamedi1958
source

1

pourriez-vous élaborer "rendre au moins une partie de la fonctionnalité Ceph inutile" un peu plus?

— N'obtenez

1

L'idée de Ceph ... OK, une des idées principales! est d'éviter de gérer des "îlots de stockage" qui sont des LUN RAID.

— BaronSamedi1958

0

Mais cela pousse les exigences vers le PCIe, les interfaces du disque vers des bandes passantes élevées et les exigences du processeur sont très élevées.

Pas vraiment, de nombreuses charges de travail de stockage sont bien servies avec des processeurs et des interconnexions à usage général modernes.

Oui, un contrôleur RAID prend en charge la redondance avec une poignée de disques dans un châssis. Mais c'est le coût et la complexité lorsque vous exécutez des solutions de stockage réparties multi-nœuds déjà redondantes comme Ceph. Pourquoi s'embêter à mettre en miroir un disque physique alors que Ceph en a déjà plusieurs copies?

Les éléments constitutifs d'une telle solution ne sont qu'un tas de disques. Tels que l' Open Vault d' Open Compute Storage . 30 broches dans un boîtier, attachées à un nœud de calcul de quelques dizaines de cœurs de processeur. Ajoutez autant de nœuds que nécessaire pour évoluer. Vous pouvez laisser ce calcul dédié à Ceph si vous souhaitez maximiser le débit.

— John Mahowald
source

avez-vous des faits avec de vrais benchmarks CPU, mem et disque par rapport à un benchmark RAID matériel? Avec les matrices RAID matérielles, mes exigences en matière de CPU et de mémoire sont faibles, car le contrôleur matériel s'en occupe.

— cilap

Je ne. Et vous voudriez vraiment faire votre propre référence de toute façon. Notez simplement que les processeurs effectuent des milliards de cycles par seconde et que les interconnexions (PCIe) effectuent des milliards de transferts par seconde. Vous êtes libre d'utiliser un contrôleur RAID, il ne semble tout simplement pas nécessaire dans un nœud de stockage distribué.

— John Mahowald

-1

La configuration recommandée consiste à utiliser des disques simples ou, éventuellement, des disques en paires RAID-1.

Un seul contrôleur SAS (ou un contrôleur RAID en mode JBOD) peut piloter plusieurs centaines de disques sans aucun problème.

L'utilisation de très grands tableaux va à l'encontre du but même de CEPH qui est d'éviter les points de défaillance uniques et les «points chauds». Cela nuira également à votre redondance.

Supposons que vous souhaitiez créer un cluster 1 PB CEPH à l'aide de disques de 8 To, en utilisant un châssis de serveurs à 36 disques (matériel de type Supermicro ordinaire). Comparons les configurations avec et sans RAID en termes de capacité de stockage et de fiabilité:

Avec RAID-6, vous avez besoin de 5 châssis (et 10 OSD).
- Chaque châssis aura 2 baies RAID de 18 disques.
- Vous aurez 1024 To de stockage disponible.
- En cas de panne de plusieurs disques, vous devrez reconstruire 256 To.
Avec CEPH et 5 châssis, vous aurez 180 OSD.
- La capacité disponible sera légèrement supérieure (en utilisant le codage d'effacement): 1152 To
- en cas de panne de plusieurs disques, vous ne devrez reconstruire que le nombre de disques défaillants (sauf s'il s'agit d'un serveur entier, il sera toujours inférieur à 256 To).

— wazoox
source

Je reçois les exigences de Ceph, mais une question majeure reste sans réponse. Quelles sont les exigences pour le châssis à 36 disques? Afaik vous avez besoin de 36 cœurs de la description de ceph pour cela. Aussi quelle configuration suggéreriez-vous pour votre exemple? Quels sont les efforts de réplication et quelle est leur référence?

— cilap

j'ai juste oublié. Afaik votre configuration a besoin de plus d'instances ou peut-être encore plus de serveurs pour la gestion.

— cilap

@cilap cela dépend vraiment des performances nécessaires. Vous n'avez généralement pas besoin d'un cœur par OSD, utiliser environ la moitié des cœurs suffit. Les performances du codage d'effacement sont inférieures à la réplication complète.

— wazoox

Je n'ai pas mentionné MDS car vous les ferez de toute façon. en fonction de votre charge de cluster, vous pouvez utiliser les nœuds de stockage comme serveurs MDS et MON.

— wazoox