J'archive les données d'un serveur à un autre. Au départ, j'ai commencé un rsync
travail. Il a fallu deux semaines pour que la liste de fichiers ne soit constituée que pour 5 To de données et une autre semaine pour transférer 1 To de données.
Ensuite, je devais tuer le travail car nous avions besoin de temps d’arrêt sur le nouveau serveur.
Il a été convenu que nous allons le garder, car nous n’aurons probablement pas besoin d’y accéder à nouveau. Je pensais le diviser en morceaux de 500 Go. Après tar
cela, j'allais le copier ssh
. J'utilisais tar
et pigz
c'est encore trop lent.
Y a-t-il une meilleure façon de le faire? Je pense que les deux serveurs sont sur Redhat. Ancien serveur est Ext4 et le nouveau est XFS.
La taille des fichiers varie de quelques kb à quelques mb et il y a 24 millions de jpeg dans 5 To. Donc, je suppose environ 60-80 millions pour 15 To.
edit: Après avoir joué avec rsync, nc, tar, mbuffer et pigz pendant quelques jours. Le goulot d'étranglement va être le disque IO. Les données étant réparties sur 500 disques SAS et environ 250 millions de fichiers jpeg. Cependant, maintenant, j'ai découvert tous ces outils utiles que je pourrai utiliser à l'avenir.