Comment reprendre rapidement le téléchargement FTP interrompu de 500 000 fichiers?


0

J'ai environ 500K fichiers (~ 250 Go) que je dois télécharger sur mon serveur. J'ai essayé de tous les télécharger plusieurs fois, mais pour une raison quelconque, mon ordinateur Win7 continue de redémarrer toute la nuit. Cela pourrait être dû à la «mise à jour automatique de Windows», mais ce n'est pas le problème maintenant.

Le problème est que chaque fois que je relance le téléchargement, le programme FTP (j'ai essayé Filezilla et WinSCP) doit ignorer les fichiers déjà téléchargés. Ce processus d'indexation peut prendre plusieurs heures en soi!

Existe-t-il une technique ou un programme plus efficace pour télécharger ou pour reprendre le téléchargement de tant de fichiers?


Avez-vous essayé de les emballer en quelque sorte (zip, tar)? IMHO cela prendra en somme moins de temps que le transfert de fichiers de tant de fichiers
Romeo Ninov

J'avais essayé cela en premier, mais cela prenait si longtemps que les arrêts du jour au lendemain briseraient encore le téléchargement et je devais recommencer à zéro le lendemain matin.
Jeff

2
Peut-être devrais-je me concentrer davantage sur le problème de l'arrêt qu'à la question du FTP.
Jeff

Avait le même problème. Le problème a été résolu en les déplaçant à l'aide de mget, avec uniquement la première lettre du nom de fichier spécifié (puis un caractère générique), de sorte qu'il a fallu 26 passes pour effectuer le travail. Bien sûr, cela ne fonctionne que si les fichiers ne changent pas pendant le temps nécessaire pour les déplacer tous. Vous pouvez également diriger les listes de fichiers (ls) de chaque machine vers des fichiers et effectuer ensuite une comparaison de texte pour vous assurer de les avoir toutes.
DrMoishe Pippik

Réponses:


En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.