Nous aurons une machine au travail qui, sur des performances optimales, devrait être capable de pousser 50 ("têtes d'écriture") x 75 Go de données par heure. Il s'agit de performances de pointe d'une vitesse d'écriture d'environ 1100 Mo / s. Pour obtenir cela de la machine, il faut deux lignes de 10 Go. Ma question est quel type de serveur + technologie peut gérer / stocker un tel flux de données?
Actuellement, pour le stockage de données, nous travaillons avec ZFS, bien que les vitesses d'écriture n'aient jamais été un problème. (nous ne sommes même pas proches de ces vitesses) Est-ce que ZFS (zfs sur linux) serait une option? Nous devons également stocker beaucoup de données, le "guide informatique" suggère quelque part entre 50 et 75 To au total. Il ne peut donc pas s'agir de tous les SSD, sauf si nous voulons offrir à notre premier-né.
Quelques ajouts basés sur les excellentes réponses:
- le maximum est de 50x75 Go / heure en période de pointe qui est inférieure à 24h (très probablement <6h)
- Nous ne nous attendons pas à ce que cela se produise bientôt, très probablement, nous allons exécuter 5-10x75 Go / heure
- c'est une machine pré-alpha, mais les exigences doivent être remplies (même si beaucoup de points d'interrogation sont en jeu)
- nous utiliserions NFS comme connexion de la machine au serveur
- mise en page: machine à générer -> stockage (celui-ci) -> (raid sécurisé 6) -> cluster de calcul
- donc la vitesse de lecture n'est pas essentielle , mais ce serait bien de l'utiliser à partir du cluster de calcul (mais c'est complètement facultatif)
- ce sera probablement de gros fichiers de données (pas beaucoup de petits)