Je ne suis pas un ninja de système de fichiers distribué, mais après avoir consolidé autant de disques que je peux en autant de machines que possible, j'essayerais d'utiliser iSCSI pour connecter la majeure partie des machines à une machine principale. Là, je pourrais consolider les choses en espérant un stockage tolérant aux pannes. De préférence, tolérant aux pannes au sein d'une machine (si un lecteur s'éteint) et parmi les machines (si une machine entière est hors tension).
Personnellement, j'aime ZFS. Dans ce cas, la compression, la déduplication et la tolérance aux pannes seraient utiles. Cependant, je suis sûr qu'il existe de nombreuses autres façons de compresser les données tout en les rendant tolérantes aux pannes.
J'aimerais avoir une vraie solution de fichiers distribués clé en main à recommander, je sais que c'est vraiment kludgey mais j'espère que cela vous indique la bonne direction.
Edit: Je suis encore nouveau sur ZFS et je configure iSCSI, mais je me souviens avoir vu une vidéo de Sun en Allemagne où ils montraient la tolérance aux pannes de ZFS. Ils ont connecté trois concentrateurs USB à un ordinateur et ont placé quatre lecteurs flash dans chaque concentrateur. Ensuite, pour empêcher un concentrateur de supprimer le pool de stockage, ils ont créé un volume RAIDz composé d'un lecteur flash de chaque concentrateur. Ils agrègent ensuite les quatre volumes ZFS RAIDz. De cette façon, seuls quatre lecteurs flash ont été utilisés pour la parité. Ensuite, bien sûr, le concentrateur unplugged et qui dégradait chaque zpool, mais toutes les données étaient disponibles. Dans cette configuration, jusqu'à quatre disques peuvent être perdus, mais uniquement si deux disques ne se trouvent pas dans le même pool.
Si cette configuration était utilisée avec le lecteur brut de chaque boîtier, cela préserverait davantage de lecteurs pour les données et non pour la parité. J'ai entendu dire que FreeNAS peut (ou allait pouvoir) partager des disques de manière "brute" via iSCSI, donc je suppose que Linux peut faire de même. Comme je l'ai dit, j'apprends toujours, mais cette méthode alternative serait moins inutile du point de vue de la parité du lecteur que ma suggestion précédente. Bien sûr, cela reposerait sur l'utilisation de ZFS que je ne sais pas si ce serait acceptable. Je sais qu'il est généralement préférable de s'en tenir à ce que vous savez si vous devez construire / entretenir / réparer quelque chose, sauf s'il s'agit d'une expérience d'apprentissage.
J'espère que c'est mieux.
Edit: J'ai creusé et trouvé la vidéo dont j'ai parlé. La partie où ils expliquent la propagation de la clé USB sur les concentrateurs commence à 2 min 10 s. La vidéo est de faire une démonstration de leur serveur de stockage "Thumper" (X4500) et de la façon de répartir les disques entre les contrôleurs, donc si vous avez une défaillance du contrôleur de disque dur, vos données seront toujours bonnes. (Personnellement, je pense que ce n'est qu'une vidéo de geeks qui s'amusent. J'aimerais avoir une boîte Thumper moi-même, mais ma femme ne voudrait pas que je fasse passer un transpalette dans la maison.: D C'est une grande boîte.)
Edit: je me suis souvenu d'avoir traversé un système de fichiers distribué appelé OpenAFS . Je ne l'avais pas essayé, je n'en avais lu que quelques-uns. Peut-être que d'autres savent comment cela se passe dans le monde réel.