Je suis un étudiant diplômé et le groupe dans lequel je travaille entretient un cluster Linux. Chaque nœud du cluster a son propre disque local, mais ces disques locaux sont relativement petits et ne sont pas équipés d'une sauvegarde automatique. Le groupe possède donc un serveur de fichiers avec plusieurs To d'espace de stockage. Je suis un novice relatif de Linux, donc je ne sais pas quelles sont les spécifications du serveur de fichiers en termes de vitesse, de capacité de réseau, etc. Je sais par expérience que les disques locaux sont nettement plus rapides que le serveur de fichiers en termes d'E / S. . Une douzaine de personnes environ utilisent le serveur de fichiers.
Utiliser cp
pour copier un fichier de ~ 20 Go du serveur de fichiers sur l’un des disques locaux prend environ 11,5 minutes en temps réel en moyenne (selon time
). Je sais que cette cp
opération n’est pas très efficace car (1) time
me dit que le temps système pour une telle copie n’est que de ~ 45 secondes; et parce que (2) lorsque j'examine au top
cours de la copie, % de la CPU est assez faible (par inspection, environ 0-10% en moyenne).
Utiliser cp
pour copier le même fichier d'environ 20 Go d'un dossier du disque local vers un autre dossier du même disque local prend moins de temps - environ 9 minutes en temps réel (~ 51 secondes en temps système, selon time
). Donc, apparemment, le serveur de fichiers est un peu plus lent que le disque local, comme prévu, mais peut-être pas beaucoup plus lentement. Je suis surpris que la copie de local à même local ne soit pas plus rapide que 9 minutes.
J'ai besoin de copier environ 200 fichiers volumineux - chacun environ 20 Go - du serveur de fichiers vers l'un des disques locaux. Ma question est donc la suivante: existe-t-il une alternative plus rapide cp
que la copie de gros fichiers sous Linux? (Ou y a-t-il des drapeaux à l'intérieur cp
que je pourrais utiliser qui accéléreraient la copie?) Même si je pouvais d'une manière ou d'une autre réduire de façon considérable le temps de copie, cela aiderait énormément.
Je suis sûr d’acheter de nouveaux disques matériels plus rapides, mais je n’ai pas accès à de telles ressources. Je ne suis pas non plus un administrateur système - je ne suis qu'un utilisateur (novice) - je n'ai donc pas accès à des informations plus détaillées sur la charge qui se trouve sur les disques. Je sais que bien qu'une douzaine de personnes utilisent quotidiennement le serveur de fichiers, je suis la seule personne à utiliser ce nœud / disque local.
dd
et rsync
de comparer que l' on travaille plus vite dans votre environnement
dd
, mais je viens d'essayer rsync
. Le temps réel était d'environ 11,5 minutes et le temps système était d'environ 1,5 minute, selon time
.
/dev/sda1
vers /dev/sdb1
sera plus rapide que de copier d'un emplacement /dev/sda1
à un autre sur /dev/sda1
une autre partition /dev/sda
car le disque dur n'aura pas à effectuer de recherches supplémentaires entre les lectures et les écritures (en supposant des disques durs traditionnels avec des disques en rotation et des têtes mobiles; SSD est évidemment différent).