J'ai 40 ans dans l'informatique, mais je n'ai jamais eu à construire un serveur comme celui-ci, donc cela pourrait être une question n00b.
J'ai un client qui va proposer le téléchargement de fichiers musicaux ultra haute définition. Dans ce cas, cela signifie 24 / 192Khz compressé FLAC = ~ 10 Go / album. (Non, je ne veux pas discuter de l'opportunité du produit, juste de la configuration du serveur.) Le catalogue comptera environ 3000 albums, avec des versions ultra haute et basse définition (pour leurs iPod, je suppose), donnant environ 35 à 40 To environ de données primaires.
Comme il s'agit d'un produit très spécialisé, la taille du marché est relativement petite (pensez: aux personnes qui dépensent plus de 20000 $ sur leurs systèmes audio), ce qui signifie que la plupart du temps, le serveur sera 100% inactif (ou proche). J'ai ce qui ressemble à une bonne offre de colocation de ColocationAmerica avec une connexion à 1 Gbit / s et une bande passante à environ 20 $ / To, alors maintenant je n'ai plus qu'à construire une boîte pour livrer les marchandises.
Le cas d'utilisation de l'accès aux données est en écriture unique / en lecture multiple, je pense donc à utiliser uniquement le logiciel RAID 1 pour les paires de disques. Cela me permettrait (je pense ) de reconfigurer les disques de rechange pour les disques défectueux à la volée, ce qui permettrait de démarrer la reconstruction du deuxième disque avant que certains administrateurs système ne remarquent le voyant rouge sur le système (ils font un échange gratuit). Ce serait formidable si je pouvais mettre la plupart des disques en veille / ralentir s'ils ne sont pas nécessaires, ce qui sera la plupart du temps pour la plupart des disques.
Je n'ai pas besoin de beaucoup de puissance de calcul - cette chose ne fait que pousser des objets gras dans le tuyau - et donc le CPU / carte mère peut être assez modeste tant qu'il peut prendre en charge ce nombre de disques.
J'envisage actuellement la configuration suivante:
Chasis: Supermicro CSE-847E26-RJBOD1
Drives: 30 4TB SAS drives (Seagate ST4000NM0023 ?)
MB: SUPERMICRO MBD-X10SAE-O w/ 8GB
CPU: Xeon E3-1220V3 3.1GHz LGA 1150 80W Quad-Core Server
Alors, est-ce que je vais dans la bonne direction, ou est-ce une façon complètement n00b / dinosaure d'aborder le problème?
Mise à jour pour clarifier quelques points:
- Je n'ai aucune expérience avec ZFS, car le dernier produit Sun que je possédais était de retour à la fin des années 80. Je vais faire un peu de RTFMing pour voir si ça me va.
- Je n'ai pas vraiment besoin du système de fichiers pour faire quoi que ce soit de spectaculaire, car les noms de fichiers seront de simples UUID et les objets seront équilibrés sur les disques (un peu comme un grand système de mise en cache). Donc, je pensais vraiment à ces derniers comme 40 systèmes de fichiers distincts, et cela donnait un son RAID 1 à peu près correct (mais j'avoue l'ignorance ici).
- Parce que nos attentes actuelles sont qu'il est peu probable que nous téléchargions plus d'une douzaine de fichiers à la fois, et dans la plupart des cas, il y aura exactement une personne téléchargeant un fichier donné, je ne sais pas si nous avons besoin de tonnes de mémoire pour les tampons. Peut-être que 8 Go est un peu léger, mais je ne pense pas que 128 Go feront plus que consommer de l'énergie.
- Il y a 2 machines distinctes non mentionnées ici: leur boutique en ligne actuelle et un Download Master presque complètement découplé qui gère toute l'authentification, la gestion de l'ingestion de nouveaux produits, l'application des politiques (après tout, c'est le terrain de jeu de la RIAA), la création d'URL éphémère (et éventuellement remise des téléchargements à plus d'une de ces bêtes si le trafic dépasse nos attentes), suivi de l'utilisation et génération de rapports. Cela signifie que cette machine pourrait presque être construite en utilisant des gerbilles sur Quaaludes.
ZFS? Quel est l'avantage?
OK, je me fraye un chemin à travers plusieurs guides ZFS, FAQ, etc. Pardonnez-moi de paraître stupide, mais j'essaie vraiment de comprendre l'avantage d'utiliser ZFS sur ma notion antédiluvienne de N paires RAID1. Sur cette page des meilleures pratiques (de 2006), ils suggèrent même de ne pas faire un ZFS à 48 appareils, mais 24 miroirs à 2 appareils - cela ressemble un peu à ce que je parlais de faire. D'autres pages mentionnent le nombre d'appareils auxquels il faut accéder pour délivrer 1 (un) bloc ZFS. N'oubliez pas non plus qu'à 10 Go par objet et à 80% d'utilisation du disque, je stocke un grand total de 320 fichiers par lecteur de 4 To . Mon temps de reconstruction avec N RAID 1, pour une panne de disque donnée, est une écriture de 4 To d'un périphérique à un autre.Comment ZFS améliore-t-il cela?
J'avoue être un dinosaure, mais le disque est bon marché, RAID 1 je comprends, mes besoins en gestion de fichiers sont triviaux, et ZFS sur Linux (mon OS préféré) est encore un peu jeune. Je suis peut-être trop conservateur, mais quand je regarde un système de production, c'est comme ça que je roule.
Je vous remercie tous pour vos commentaires qui m'ont fait réfléchir à ce sujet. Je ne suis toujours pas complètement décidé et je devrai peut-être revenir et poser d'autres questions sur le n00b.