Utilisation de wget pour récupérer récursivement un répertoire contenant des fichiers arbitraires

J'ai un répertoire Web où je stocke des fichiers de configuration. Je voudrais utiliser wget pour tirer ces fichiers vers le bas et conserver leur structure actuelle. Par exemple, le répertoire distant ressemble à:

http://mysite.com/configs/.vim/

.vim contient plusieurs fichiers et répertoires. Je veux répliquer cela sur le client en utilisant wget. Impossible de trouver le bon combo de drapeaux wget pour y parvenir. Des idées?

Vous devez passer l' option -np/ --no-parentà wget(en plus de -r/ --recursive, bien sûr), sinon il suivra le lien dans l'index du répertoire sur mon site vers le répertoire parent. La commande ressemblerait donc à ceci:

wget --recursive --no-parent http://example.com/configs/.vim/

Pour éviter de télécharger les index.htmlfichiers générés automatiquement , utilisez l' option -R/ --reject:

wget -r -np -R "index.html*" http://example.com/configs/.vim/

Pour télécharger un répertoire de manière récursive, ce qui rejette les fichiers index.html * et les téléchargements sans le nom d'hôte, le répertoire parent et toute la structure du répertoire:

wget -r -nH --cut-dirs=2 --no-parent --reject="index.html*" http://mysite.com/dir1/dir2/data

Pour toute autre personne ayant des problèmes similaires. Wget suit robots.txtce qui pourrait ne pas vous permettre d'accéder au site. Pas de soucis, vous pouvez le désactiver:

wget -e robots=off http://www.example.com/

http://www.gnu.org/software/wget/manual/html_node/Robot-Exclusion.html

Vous devez utiliser le drapeau -m (miroir), car cela prend soin de ne pas jouer avec les horodatages et de récurer indéfiniment.

wget -m http://example.com/configs/.vim/

Si vous ajoutez les points mentionnés par d'autres dans ce fil, ce serait:

wget -m -e robots=off --no-parent http://example.com/configs/.vim/

Voici la commande wget complète qui a fonctionné pour moi pour télécharger des fichiers à partir du répertoire d'un serveur (en ignorant robots.txt):

wget -e robots=off --cut-dirs=3 --user-agent=Mozilla/5.0 --reject="index.html*" --no-parent --recursive --relative --level=1 --no-directories http://www.example.com/archive/example/5.3.0/

Sinon --no-parent, vous pouvez utiliser l' --includeoption.

Structure du répertoire:

http://<host>/downloads/good
http://<host>/downloads/bad

Et vous souhaitez télécharger downloads/goodmais pas le downloads/badrépertoire:

wget --include downloads/good --mirror --execute robots=off --no-host-directories --cut-dirs=1 --reject="index.html*" --continue http://<host>/downloads/good

wget -r http://mysite.com/configs/.vim/

travaille pour moi.

Peut-être avez-vous un .wgetrc qui interfère avec lui?

Pour récupérer un répertoire récursivement avec nom d'utilisateur et mot de passe, utilisez la commande suivante:

wget -r --user=(put username here) --password='(put password here)' --no-parent http://example.com/

Wget 1.18 peut mieux fonctionner, par exemple, j'ai été mordu par un bug de la version 1.12 où ...

wget --recursive (...)

... récupère uniquement index.html au lieu de tous les fichiers.

La solution de contournement consistait à remarquer quelques redirections 301 et à essayer le nouvel emplacement - étant donné la nouvelle URL, wget a obtenu tous les fichiers dans le répertoire.

Tout ce dont vous avez besoin est de deux drapeaux, un "-r"pour la récursivité et "--no-parent"(ou -np) afin de ne pas aller dans le '.'et ".." . Comme ça:

wget -r --no-parent http://example.com/configs/.vim/

C'est ça. Il téléchargera dans l'arbre local suivant: ./example.com/configs/.vim. Cependant, si vous ne voulez pas les deux premiers répertoires, utilisez l'indicateur supplémentaire --cut-dirs=2comme suggéré dans les réponses précédentes:

wget -r --no-parent --cut-dirs=2 http://example.com/configs/.vim/

Et il téléchargera votre arborescence de fichiers uniquement dans ./.vim/

En fait, j'ai obtenu la première ligne de cette réponse précisément du manuel wget , ils ont un exemple très propre vers la fin de la section 4.3.

L'option suivante semble être la combinaison parfaite en cas de téléchargement récursif:

wget -nd -np -P / dest / dir - récursif http: // url / dir1 / dir2

Extraits pertinents des pages de manuel pour plus de commodité:

   -nd
   --no-directories
       Do not create a hierarchy of directories when retrieving recursively.  With this option turned on, all files will get saved to the current directory, without clobbering (if a name shows up more than once, the
       filenames will get extensions .n).


   -np
   --no-parent
       Do not ever ascend to the parent directory when retrieving recursively.  This is a useful option, since it guarantees that only the files below a certain hierarchy will be downloaded.

Vous devriez pouvoir le faire simplement en ajoutant un -r

wget -r http://stackoverflow.com/

Cette version se télécharge récursivement et ne crée pas de répertoires parents.

wgetod() {
    NSLASH="$(echo "$1" | perl -pe 's|.*://[^/]+(.*?)/?$|\1|' | grep -o / | wc -l)"
    NCUT=$((NSLASH > 0 ? NSLASH-1 : 0))
    wget -r -nH --user-agent=Mozilla/5.0 --cut-dirs=$NCUT --no-parent --reject="index.html*" "$1"
}

Usage:

1. Ajouter ~/.bashrcou coller dans le terminal
2. wgetod "http://example.com/x/"