Moyen le plus rapide de dupliquer, copier ou sauvegarder un répertoire contenant des To de données (fichiers image)

Bonjour, pouvez-vous suggérer une option très efficace et très performante pour copier des fichiers (des dizaines de données sous forme d’images sont présentes) d’un disque à un autre.

J'ai vu des options telles que cp, rsync, etc., mais j'aimerais avoir une deuxième opinion de votre part, vous qui avez essayé et testé un tel scénario de manière fiable.

J'ai aussi une exigence comme ci-dessous:

1. Disque principal -> où sont stockés les fichiers après la capture
2. Disque secondaire qui utilise rsync pour sauvegarder à partir du disque principal.
3. Troisième disque qui va maintenant sauvegarder le disque secondaire, puis supprimer les fichiers indésirables du disque principal afin que le disque secondaire et le troisième disque se synchronisent à nouveau

Remarque: 1. Veuillez également considérer l'utilisation du serveur, car les fichiers image seront également lus en parallèle par d'autres processus. 2. Je suis en train de sauvegarder du disque secondaire vers le troisième. Besoin de vos conseils pour les 3 étapes

Malheureusement, la copie du disque est lente. Il n'y a pas de moyen bon marché pour contourner cela.

RSYNC semble être une bonne solution car vous ne voulez pas toujours copier toutes les données du disque. Vous voudrez peut-être vérifier que votre rsync ne saute pas en fonction de la somme de contrôle (c.-à-d., Aucun indicateur -c ou --checksum) en supposant que vous pouvez compter sur l'horodatage et la taille du fichier. Si le contenu du fichier change (ce qui semble peu probable), vous pouvez obtenir une accélération significative en faisant "--inplace - no-whole-file" pour ne copier que les bits qui ont été modifiés.

Bien sûr, il existe d’autres stratégies qui méritent d’être examinées au niveau des blocs. Le passage à ZFS (ou DRBD ou Gluster ou MooseFS) et la réplication de données au niveau des blocs peuvent s'avérer plus efficaces en fonction du type de modification que vous effectuez, du niveau de votre trafic, etc.