J'ai été chargé de faire une sauvegarde hors site sur le WAN. Les deux boîtiers de stockage sont des boîtiers NAS basés sur FreeBSD exécutant ZFS.
Une à deux fois par semaine, 15 à 60 concerts de données photographiques sont transférés sur le NAS du bureau. Mon travail consiste à comprendre comment obtenir ces données hors site de la manière la plus fiable possible en utilisant la connexion DSL TRÈS LENTE (envoi de ~ 700 Ko / s). La boîte de réception est en bien meilleure forme, à 30 Mo / s en bas, 5 Mo / s en haut.
Je sais, transporter un disque dur hors site déplacerait les données beaucoup plus rapidement, mais ce n'est pas une option dans ce cas.
Mes options semblent être soit:
- Envoi incrémentiel ZFS sur ssh
- Rsync
rsync est une solution qui a fait ses preuves et a la capacité primordiale de reprendre un envoi si quelque chose est interrompu. Il a l'inconvénient d'itérer sur de nombreux fichiers et de ne pas connaître la déduplication.
L'envoi d'instantanés ZFS peut transférer un peu moins de données (il en sait beaucoup plus sur le système de fichiers, peut faire la déduplication, peut regrouper les changements de métadonnées plus efficacement que rsync) et a l'avantage de dupliquer correctement l'état du système de fichiers, plutôt que de simplement copier fichiers individuellement (ce qui est plus gourmand en disque).
Je suis préoccupé par les performances de réplication ZFS [1] (bien que cet article date d'un an). Je m'inquiète également de pouvoir redémarrer le transfert si quelque chose tombe en panne - la capacité d'instantané ne semble pas inclure cela. L'ensemble du système doit être complètement mains libres.
[1] http://wikitech-static.wikimedia.org/articles/z/f/s/Zfs_replication.html
En utilisant l'une ou l'autre option, je devrais être en mesure de dé-prioriser le trafic en le routant via un port spécifié, puis en utilisant le QOS sur les routeurs. Je dois éviter un impact négatif majeur sur les utilisateurs des deux sites lors de chaque transfert, car cela prendra plusieurs jours.
Alors ... c'est ma pensée sur la question. Ai-je manqué de bonnes options? Quelqu'un d'autre a-t-il créé quelque chose de similaire?