Unix & Linux wget

2

Exécution de milliers de processus d'arrière-plan curl en parallèle dans le script bash

J'exécute des milliers de processus d'arrière-plan curl en parallèle dans le script bash suivant START=$(date +%s) for i in {1..100000} do curl -s "http://some_url_here/"$i > $i.txt& END=$(date +%s) DIFF=$(( $END - $START )) echo "It took $DIFF seconds" done J'ai un serveur dédié 49Gb Corei7-920 (non virtuel). Je surveille la …

14 linux performance bash curl wget

2

Pourquoi mon wget n'est-il pas mort après la perte de connexion ssh?

Je suis sshallé sur mon serveur et j'ai couru wget -r -np zzz.aaa/bbb/cccet il a commencé à fonctionner. Ensuite, ma connexion Internet (chez moi) a été interrompue et je me suis inquiété en supposant que cela wgetavait été hupinterrompu car la sshconnexion était perdue et donc le terminal était mort. …

13 ssh terminal wget signals

2

Ignorer les «autres» domaines lors du téléchargement avec wget?

Je voudrais explorer les liens sous www.website.com/XYZ et télécharger uniquement les liens qui se trouvent sous www.website.com/ABC. J'utilise la commande wget suivante pour obtenir les fichiers que je veux: wget -I ABC -r -e robots=off --wait 0.25 http://www.website.com/XYZ Cela fonctionne parfaitement lorsque j'utilise wget 1.13.4. Mais le problème est que …

13 command-line wget

4

Comment puis-je limiter la taille des fichiers téléchargés dans wget?

Je veux utiliser wget(à partir d'un script php) pour télécharger des fichiers image, mais je ne veux pas télécharger des fichiers d'une certaine taille. Puis-je limiter la taille des fichiers avec wget? Sinon, quelle est la meilleure façon?

13 files wget size

2

Existe-t-il une méthode de ligne de commande par laquelle je peux vérifier si un fichier téléchargé est complet ou cassé?

J'écris un script qui implique le téléchargement et la manipulation d'un fichier, et je veux m'assurer que le fichier n'est pas incomplet (en raison, par exemple, d'une connexion interrompue) avant de travailler dessus.

13 files wget curl download corruption

2

Alternatives à wget

J'ai un site sur un serveur qui est essentiellement un tas de pages HTML, d'images et de sons. J'ai perdu mon mot de passe sur ce serveur et je dois récupérer tout ce qui y est stocké. Je peux aller page par page et tout enregistrer mais le site compte …

13 wget

1

Comment contourner les en-têtes «dernière modification» manquants?

Je cours wgetcomme ça: wget --mirror --adjust-extension --convert-links --no-cookies http://tshepang.net -o log-main Je reçois un tas de ces messages: Last-modified header missing -- time-stamps turned off. Je suppose que cela signifie que les pages sont de nouveau téléchargées, même si je les ai localement. REMARQUE : je le souhaite pour …

13 wget web

2

Voulez-vous retourner le binaire au lieu du HTML?

J'utilise wget pour télécharger une page html statique. Le validateur W3C m'indique que la page est encodée en UTF-8. Pourtant, lorsque je cat le fichier après le téléchargement, je reçois un tas de bêtises binaires. Je suis sur Ubuntu, et je pensais que l'encodage par défaut était UTF-8? C'est ce …

12 wget character-encoding gzip http

2

Wget: convertir des liens et éviter de retélécharger des fichiers déjà récupérés?

Je télécharge des données réparties sur plusieurs fichiers qui ne changent pas une fois publiées. Par conséquent, ce --timestampingn'est pas suffisant, car il vérifie constamment quelle que soit la ressource modifiée, ce qui est, dans mon cas, complètement inutile. --no-clobberconviendrait parfaitement. Malheureusement, cela ne fonctionne pas --convert-links pour une raison …

12 wget download

5

Écrire la sortie de wget ou curl dans un nom de fichier personnalisé basé sur l'url

Par exemple, j'ai un lien http://www.abc.com/123/def/ghi/jkl.mno. Je veux le télécharger en utilisant wgetou curlet obtenir le nom du fichier de sortie comme def_ghi_jkl.mno, où la partie def_ghiest prise à partir du lien. Je mettrai cette wgetcommande dans un script pour télécharger plusieurs fichiers afin qu'il ne puisse pas donner explicitement …

12 filenames wget curl

3

montage de dropbox (pour explorer les fichiers)

Je veux simplement pouvoir explorer un système de fichiers dropbox, sans beaucoup de charge supplémentaire sur le CPU, la mémoire, le stockage (c'est-à-dire sans enregistrer localement des copies des fichiers distants). Il semble que le client officiel consomme beaucoup de réassurances (et ferait des opérations inutiles comme la synchronisation) - …

12 wget fuse dropbox hosting-services protocols

5

Comment arrêter «wget» après avoir obtenu un 404?

Si vous utilisez l'extension d'accolade avec wget, vous pouvez facilement récupérer des images numérotées séquentiellement: $ wget 'http://www.iqandreas.com/sample-images/100-100-color/'{90..110}'.jpg' Il va chercher les 10 premiers fichiers numérotés 90.jpgà 99.jpgtrès bien, mais 100.jpget revenir en avant une 404: Fichier introuvable erreur (je seulement 100 images stockées sur le serveur). Ces fichiers inexistants …

12 bash shell-script wget

2

Quel est l '«article de 2001» pour bloquer les «programmes de récupération automatisée» auxquels fait référence la page de manuel wget?

La wgetpage de manuel indique ceci, sous la section pour le --random-waitparamètre: Some web sites may perform log analysis to identify retrieval programs such as Wget by looking for statistically significant similarities in the time between requests. [...] A 2001 article in a publication devoted to development on a popular …

11 wget man documentation

1

Wget, abandon de nouvelle tentative après un échec ou un timeout

J'appelle une URL avec wget: /usr/bin/wget --read-timeout=7200 https://site_url/s Wget effectue une requête GET toutes les 15 minutes dans ce cas, malgré le délai d'attente défini, pourquoi cela se produit-il? L'appel ne doit être effectué qu'une seule fois, comment puis-je définir wget sur NON réessayer? Je sais que vous pouvez définir, …

11 linux rhel wget

3

Comment utiliser wget pour télécharger à partir de sites d'hébergement?

wget est un outil très utile pour télécharger des trucs sur Internet rapidement, mais puis-je l'utiliser pour télécharger à partir de sites d'hébergement, comme FreakShare, IFile.it Depositfiles, Uploaded, Rapidshare? Si oui, comment faire?

11 wget download hosting-services

Questions marquées «wget»