Combien de temps ce transfert de fichier prend-il?

J'ai 12 heures pour sauvegarder 2 To de données.

Je souhaite effectuer une sauvegarde sur un partage réseau vers un ordinateur utilisant des disques durs grand public WD 2 To Black 7200 tr / min. Gigabit Ethernet.

Quelles autres variables devrais-je prendre en compte pour voir si cela est réalisable? Comment pourrais-je configurer ce calcul?

Les deux facteurs importants ici sont la rapidité avec laquelle la source peut transmettre des données et la rapidité avec laquelle le destinataire peut les valider. GigE est un très bon début, ce qui signifie qu'en théorie, cela ne prend que 4,7 heures. Les facteurs qui peuvent augmenter ceci:

• Si les mémoires tampons du réseau du destinataire sont épuisées (la source émet trop rapidement).
• Si le point d’envoi est très fragmenté, il ne pourra pas transmettre les données à la vitesse de ligne.
• Si le destinataire n'est pas très fragmenté, il risque de ne pas pouvoir écrire assez rapidement.
• Quelque chose sur votre chemin de réseau monopolise la bande (un port de liaison montante caché étant saturé par un autre trafic).

Mon calcul de retour d'enveloppe indique que vous devez diffuser à environ 49 Mo / seconde pour que cela fonctionne. Si ce disque dur est nu et que la pile de réseau est bonne, ce sont probablement les niveaux de fragmentation de la source qui déterminent la vitesse ultime.

Edit : Je vois dans les commentaires que vous prévoyez sur un système de sauvegarde sur disque.

Quelques autres choses à considérer. L'utilisation de plusieurs lecteurs cibles dans une configuration de bande est un bon moyen de paralléliser le processus de recherche et de réduire les dommages liés à la fragmentation. RAID10 est la meilleure solution pour cela, bien que Raid5 / 6 puisse fonctionner si votre carte RAID est suffisamment rapide pour la gérer. Si ce n'est pas le cas, RAID10 est votre seul espoir redondant. Les disques de 7,2K tr / min peuvent vraiment être utilisés dans ces situations. Je le fais actuellement mais avec des disques de 500 Go et non de 2 To. Vous voulez vraiment, vraiment, vous assurer que ces lecteurs écrivent autant que possible séquentiellement et réduire les écritures aléatoires.

Les écritures aléatoires sont causées de plusieurs manières. Si votre système de sauvegarde copie simplement les fichiers vers un nouvel emplacement, vous créez simplement des millions de fichiers et les sauvegardes seront inévitablement aléatoires dans ce cas. Vous voulez éviter les systèmes de sauvegarde qui le font. Si votre système de sauvegarde crée des fichiers d'archive volumineux (des fichiers de 10 Go par exemple), des E / S aléatoires se produisent lorsque ces fichiers se fragmentent.

Éviter la fragmentation de gros fichiers nécessite quelques étapes:

• Assurez-vous qu’un seul fichier est écrit à la fois.
  • Il existe quelques exceptions à cela si vous utilisez le bon type de système de fichiers sous Linux, mais je ne sais pas si vous le faites. Si vous utilisez NTFS, gardez-en un seul.
• Il doit y avoir suffisamment d'espace libre pour qu'un seul fichier volumineux soit écrit en une seule fois.
  • Après avoir couru pendant un moment, surveillez votre tableau de fragmentation.
• Si possible, configurez votre système de sauvegarde pour créer le fichier au total avant utilisation. Vous obtiendrez peut-être des fichiers de 10 Go pour la plupart vides, mais au moins ils sont contigus et aideront à réduire le «flu-fluep» à mesure que le système vieillit.

Si votre connexion peut transférer 1 000 mégabits, toutes ces données prendraient environ 4,5 heures (1 mégabit correspond à 0,125 Mo). Cela pourrait donc fonctionner, mais pourrait, en fonction de la configuration de votre réseau, utiliser une grande partie de votre bande passante réseau.

Une meilleure alternative pour la sauvegarde, en particulier si vous souhaitez uniquement sauvegarder les modifications et que vous ne produisez pas réellement 2 To de données toutes les 12h, consiste à ne transférer que les modifications effectives. Je vous suggère de regarder rsnapshot qui est un bon wrapper rsync. De cette façon, vous effectuez le transfert complet complet une seule fois au début et la mise à jour des instantanés sera beaucoup plus rapide. Il existe déjà des didacticiels rsnapshot sur le superutilisateur.