Quel programme dois-je utiliser pour transférer des données de 20 To sur le réseau?

10

J'ai besoin de copier 20 To de données sur une baie Thunderbolt. La boîte où les données existent n'a pas de connexion coup de foudre, donc je devrai utiliser le réseau local de 1 Go pour cela. (Oui, cela prendra une éternité).

J'ai essayé d'utiliser Filezilla / sftp, mais il s'est écrasé lorsque la file d'attente est devenue très grande. Rsync ou scp est-il la voie à suivre?

data-transfer thunderbolt rsync

— lacinda
source

2

Pouvez-vous retirer le lecteur de l'ancien appareil et le connecter directement?

Approuve le commentaire ci-dessus. Le transfert physique a la plus grande bande passante.

— Siyuan Ren

J'adore Carbon Copy Cloner, qui est un bel utilitaire graphique basé sur rsync. Le développeur a créé rsync et a apporté de nombreuses améliorations. Je ne peux pas parler de la vitesse vs rsync et / ou tar ou quoi que ce soit, mais c'est mon choix pour tout type de transfert de données, où je veux savoir sans aucun doute que mes données sont bonnes une fois que tout est dit et fait. Et si ce n'est pas le cas, CCC me le dira.

— Harv

Je suis surpris qu'il n'y ait aucune référence à Fedex .

— tedder42

16

rsync est une bonne façon de procéder (scp est à peu près la même chose avec moins de fonctionnalités). Vous voudrez peut-être utiliser l' -Zoption, qui activera la compression zlib. Selon la vitesse de vos disques / ordinateur, cela peut être plus rapide que l'envoi non compressé, c'est-à-dire si votre lien réseau est saturé. Vous pouvez également souhaiter l'option du mode archive, -aqui préservera les liens symboliques, les autorisations et les temps de création / modification, ainsi que la copie récursive des répertoires. Selon ce que vous copiez, vous souhaiterez peut-être -Econserver les attributs étendus et les fourchettes de ressources mac. Enfin, --progressvous montrera les informations de progression.

— Michael DM Dryden
source

11

rsync est également efficace pour redémarrer la copie en cas d'interruption.

— Lee Joramo

3

Il est extrêmement important d'appuyer @LeeJoramo, de pouvoir reprendre là où un transfert a échoué. Un transfert ce grand sera l' échec à un moment donné, et vous voulez vous assurer que vous ne perdez pas tout ce que vous avez fait le progrès à ce moment - là.

— blahdiblah

6

Bien que pas aussi omniprésent que rsync, j'ai utilisé dans le passé un outil appelé "mpscp" - http://www.sandia.gov/MPSCP/mpscp_design.htm

De Sandia National Labs, c'est un outil de copie de fichiers qui s'exécute sur SSH spécialement optimisé pour saturer les réseaux à grande vitesse entre des systèmes proches (comme la copie de téraoctets de données entre deux superordinateurs sur le même site, connectés via 10 Gb + ou Infiniband). Cela fonctionne bien, mais peut être un peu difficile à configurer. Lors des tests, je l'ai facilement vu fonctionner 2x-3x plus rapidement que rsync.

— Yeraze
source

3

Utilisez rsync et envisagez de l'utiliser avec rsyncd. Si vous utilisez rsync sans rsyncd, vous êtes bloqué en utilisant ssh, ce qui signifie utiliser une sorte de cryptage. Vous copiez probablement les données d'une machine plus ancienne vers une machine plus récente et la machine plus ancienne peut ne pas avoir le grognement du processeur pour crypter les données pour la transmission assez rapidement pour garder une liaison Ethernet gigabit saturée. Testez le transfert de lots de fichiers à l'aide des deux méthodes et voyez quelle voie est la plus rapide.

Pour la même raison, je vous conseille de tester l'utilisation de l'option de compression de rsync avant de vous engager à l'utiliser. La compression est une autre activité gourmande en ressources processeur qui pourrait ne pas être en mesure de suivre les vitesses Ethernet gigabit lors d'une tentative sur un matériel plus ancien. rsync est un programme vieux de quinze ans, écrit lorsque la majorité des gens, même dans les pays du premier monde, accédaient à Internet via un modem téléphonique. La bande passante réseau et les compromis CPU étaient alors très différents.

— Kyle Jones
source

Vous avez raison que rsync utilise par défaut ssh, mais ce n'est pas la seule option. Vous pouvez le faire utiliser rsh à la place en utilisant l' -eoption. Avec la même option, vous pouvez modifier les options de ssh pour utiliser un cryptage moins gourmand en CPU: -e 'ssh -c arcfour,blowfish-cbc'ou similaire. Que cela fasse une différence de vitesse avec une machine moderne, je ne sais pas, mais une référence rapide peut être utile, en particulier avec 20 To de fichiers.

— Michael DM Dryden

3

Ces 20 To sont-ils emballés dans un petit nombre de fichiers volumineux (comme la vidéo, une base de données monstre) ou des millions de fichiers plus petits?

Si beaucoup de petits fichiers j'irais avec rsync pour la possibilité de redémarrage ou un flux tar canalisé pour l'efficacité (une connexion réseau pour le lot, recommencez depuis le début en cas d'échec)

tar -cf - * | ( cd newhome; tar -xf - )

le dossier distant doit être monté.

Pourriez-vous attacher directement le nouveau tableau avec une interface différente? Le rsync local n'utilise pas ssh, vous supprimez donc ce point d'échec. Oui, Firewire 800 est plus lent que Gigabit Ethernet mais vous ne pouvez pas charger Ethernet à 100% - il pourrait être plus rapide avec Firewire. Pour info, vous pouvez également mettre en réseau le firewire si les boîtiers sont suffisamment proches. Ajoutez l'interface dans les préférences système -> réseau.

— Paul
source

0

Une autre option serait d'essayer Bittorrent Sync ( http://www.bittorrent.com/sync ). Je l'ai utilisé pour synchroniser des photos et des vidéos de famille entre les membres de notre famille sur le WAN, mais il n'y a aucune raison que cela ne fonctionne pas pour le réseau local. Il utilise des connexions peer-to-peer afin que les données ne passent pas par un serveur comme si vous essayiez d'utiliser quelque chose comme dropbox (pas que je pense que vous avez 20 To d'espace de dropbox ou que vous voulez attendre aussi longtemps pour télécharger autant Les données!)

Il est également pris en charge sur plusieurs plates-formes et offre donc plus de flexibilité que rsync et tar.

— KenB
source