Téléchargement récursif (`wget -r`) équivalent pour Firefox?


15

J'ai un site Web et je souhaite télécharger toutes les pages / liens de ce site Web. Je veux faire un wget -rsur cette URL. Aucun des liens ne va "en dehors" de ce répertoire spécifique, donc je ne suis pas inquiet de télécharger l'intégralité d'Internet.

En fait, les pages que je veux se trouvent derrière la section protégée par mot de passe du site Web. Bien que je puisse utiliser wget pour faire manuellement cette négociation de cookies, il serait beaucoup plus facile pour moi de simplement "me connecter" à partir du navigateur et d'utiliser un plugin firefox pour tout télécharger récursivement.

Y a-t-il une extension ou quelque chose qui me permettra de le faire? De nombreuses extensions se concentrent sur l'obtention de médias / images à partir de la page (heh. Heh.) Mais je suis intéressé par tout le contenu - HTML et tout.

Suggestions?

Merci!

Éditer

DownThemAll semble être une suggestion intéressante. Peut-il effectuer un téléchargement récursif ? Comme dans, téléchargez tous les liens sur la page, puis téléchargez tous les liens contenus dans chacune de ces pages, etc.? Alors que je reflète essentiellement l'arborescence de répertoires en suivant les liens? Un peu comme l' -roption de wget?

Réponses:


7

DownThemAll ne fait pas de téléchargement récursif. Il saisit uniquement les liens de la page actuelle. Seule la page HTML des URL liées est téléchargée. Les images et les supports des pages liées ne sont pas téléchargés.


6

SpiderZilla est censé faire cela - mais, c'est un peu vieux (2006).
Il est basé sur le copieur du site Web HTTrack .
Qui a des versions mises à jour pour toutes les plateformes.

Il existe également un autre addon plus ancien qui peut vous permettre de vous connecter lui- wgetmême (entre autres).

Cependant, je pense moi aussi que DownThemAll est probablement un bon choix.
Si vous savez ce que vous voulez refléter, la sélection des bons liens ne devrait pas poser de problème.
Et, vous pouvez toujours cocher la case "Tous".

Donc, +1, pour DownThemAll si vous voulez vous en tenir au navigateur.
Et, utilisez HTTrack si vous voulez un outil autonome (et wget n'est pas pratique).

Mise à jour: vous pouvez également consulter les votes de HTTrack à cette question de prime,
comment puis-je télécharger un site Web entier .


DTA ne prend pas en charge la récursivité
Hayden Thring

4

Vous pouvez utiliser wget -rdes cookies du navigateur, extraits après autorisation.

Firefox a l'option "Copier en tant que cURL" dans le menu contextuel de la demande de page dans l'onglet Réseau des outils de développement Web, raccourci clavier Ctrl + Maj + Q (vous devrez peut-être recharger la page après avoir ouvert les outils): capture d'écran

Remplacez l'indicateur d'en-tête de curl -Hpar wget --header, et vous avez tous les en-têtes nécessaires, y compris les cookies, pour continuer la session du navigateur avec wget.

En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.