Existe-t-il un wget parallèle? Quelque chose comme fping mais uniquement pour le téléchargement?

15

Je n'ai trouvé que puf (récupérateur d'URL parallèle) mais je n'ai pas pu le faire lire les URL d'un fichier; quelque chose comme

 puf < urls.txt

ne fonctionne pas non plus.

Le système d'exploitation installé sur le serveur est Ubuntu.

ubuntu wget parallelism

— Moonwalker
source

Cela pourrait être fait avec la bibliothèque Python et pycurl et un peu de logique de collage dans un script. Mais je ne connais pas d'outil "en conserve" pour cela.

— Keith

@Keith Cette approche est-elle meilleure que l'utilisation d'une bibliothèque asynchrone comme gevent avec urllib?

— Moonwalker

urllib n'est pas conçu pour être utilisé de manière asynchrone. La libcurl possède sa propre boucle asynchrone et peut être configurée pour effectuer au moins 1000 récupérations simultanées en utilisant l'interface "multi".

— Keith

@Keith J'aime mieux votre réponse, alors pourriez-vous l'écrire comme une "vraie" réponse pour en prendre le crédit?

— Moonwalker

25

En utilisant GNU Parallel ,

$ parallel -j $ {jobs} wget <urls.txt

ou xargsde GNU Findutils ,

$ xargs -n 1 -P $ {jobs} wget <urls.txt

où ${jobs}est le nombre maximum de wgetvous voulez permettre d'exécuter simultanément (mise -nà 1obtenir un wgetappel par ligne urls.txt). Sans -j/ -P, parallelexécutera autant de tâches à la fois que de cœurs de processeur (ce qui n'a pas nécessairement de sens pour wgetlié par les E / S réseau), et xargss'exécutera une à la fois.

Une fonctionnalité intéressante qui parallela dépassé le xargsfait de garder la sortie des travaux exécutés simultanément séparés, mais si vous ne vous en souciez pas, elle xargsest plus susceptible d'être préinstallée.

— éphémère
source

Optimal jobsdépend de nombreux facteurs: latence du chemin, bande passante du chemin, politiques du serveur distant, etc.

— dhchdhd

6

aria2 fait cela.

http://sourceforge.net/apps/trac/aria2/wiki/UsageExample#Downloadfileslistedinafileconcurrently

Exemple: aria2c http://example.org/mylinux.iso

— user17591
source

Cette réponse serait améliorée avec un exemple réel qui résout le problème posé, à la place, cela se qualifie comme une réponse de lien uniquement. meta.stackexchange.com/questions/225370/…

— Jeff Schaller

2

Vous pouvez l'implémenter en utilisant Python et la bibliothèque pycurl. La bibliothèque pycurl possède l'interface "multi" qui implémente sa propre boucle paire qui permet plusieurs connexions simultanées.

Cependant, l'interface est plutôt semblable à C et donc un peu lourde par rapport à d'autres codes, plus "Pythonic".

J'ai écrit un wrapper pour cela qui construit un client de type navigateur plus complet par-dessus. Vous pouvez utiliser cela comme exemple. Voir le module pycopia.WWW.client . HTTPConnectionManager encapsule la multi-interface.

— Keith
source

2

Cela fonctionne, et ne sera pas DoS local ou distant, avec des ajustements appropriés:

(bandwidth=5000 jobs=8; \
 parallel      \
   --round     \
   -P $jobs    \
   --nice +5   \
   --delay 2   \
   --pipepart  \
   --cat       \
   -a urls.txt \
     wget                                \
       --limit-rate=$((bandwidth/jobs))k \
       -w 1                              \
       -nv                               \
       -i {}                             \
)

— dhchdhd
source

1

Une partie de la page de manuel de GNU Parallel contient un exemple de wget récursif parallèle.

https://www.gnu.org/software/parallel/man.html#EXAMPLE:-Breadth-first-parallel-web-crawler-mirrorer

Le HTML est téléchargé deux fois: une fois pour l'extraction des liens et une fois pour le téléchargement sur le disque. Les autres contenus ne sont téléchargés qu'une seule fois.

Si vous n'avez pas besoin de la réponse récursive, l'éphémient semble évident.

— Ole Tange
source

Juste une information tardive que toute "solution" parallèle plus wget est à la fois inefficace car elle nécessite le téléchargement de contenu deux fois , lente à cause de tout le téléchargement multiphase et ce n'est pas agréable non plus pour les sysops qui doivent payer pour tout votre gaspillage de bande passante parce que vous ne l'avez pas fait n'utilisez pas une solution efficace.

— dhchdhd

0

Les victimes de votre téléchargement parallèle ne seront pas amusées: elles s'attendent à ce qu'une connexion serve chaque client, la configuration de plusieurs connexions signifie moins de clients dans l'ensemble. (C'est à dire, cela est considéré comme un comportement grossier).

— vonbrand
source

1

Mais il pourrait télécharger des fichiers à partir de différents serveurs, donc cela ne s'appliquerait pas.

— Renan

Outre ce que @vonbrand a dit, vous pourriez obtenir quelque chose comme "Trop de connexions" et ne pas pouvoir télécharger tous les fichiers. Et cela peut être un peu plus lent (par exemple, réutiliser une connexion HTTP par rapport à créer plusieurs connexions HTTP)

— golimar

2

Tant que vous gardez le chiffre sain, ce n'est pas grave. Par exemple, au moment où vous avez écrit ceci, Firefox utilisait 15 connexions par serveur lorsqu'il n'utilisait pas de connexions persistantes (ils sont depuis passés à n'essayer que les connexions persistantes, qui sont limitées à 6 par serveur). D'autres navigateurs utilisent des numéros similaires.

— derobert