Comment puis-je télécharger toutes les pages d'un site Web?

Toute plate-forme va bien.

HTTRACK fonctionne comme un champion pour copier le contenu d'un site entier. Cet outil peut même récupérer les éléments nécessaires pour créer un site Web avec un contenu de code actif hors ligne. Je suis émerveillé par les choses qu'il peut reproduire hors ligne.

Ce programme fera tout ce dont vous avez besoin.

Bonne chasse!

Wget est un outil classique en ligne de commande pour ce type de tâche. Il est fourni avec la plupart des systèmes Unix / Linux, et vous pouvez également l’obtenir pour Windows . Sur un Mac, Homebrew est le moyen le plus simple de l’installer ( brew install wget).

Vous feriez quelque chose comme:

wget -r --no-parent http://site.com/songs/

Pour plus de détails, voir Wget Manual et ses exemples , ou par exemple ceux-ci:

• wget: Télécharger des sites entiers facilement

• Wget exemples et scripts

Utilisez wget:

wget -m -p -E -k www.example.com

Les options expliquées:

-m, --mirror            Turns on recursion and time-stamping, sets infinite 
                          recursion depth, and keeps FTP directory listings.
-p, --page-requisites   Get all images, etc. needed to display HTML page.
-E, --adjust-extension  Save HTML/CSS files with .html/.css extensions.
-k, --convert-links     Make links in downloaded HTML point to local files.

Vous devriez jeter un oeil à ScrapBook , une extension de Firefox. Il a un mode de capture en profondeur .

Internet Download Manager dispose d'un utilitaire Site Grabber avec de nombreuses options, qui vous permet de télécharger complètement le site Web de votre choix, comme vous le souhaitez.

1. Vous pouvez définir la limite de taille des pages / fichiers à télécharger

2. Vous pouvez définir le nombre de sites de succursales à visiter.

3. Vous pouvez changer le comportement des scripts / popups / doublons

4. Vous pouvez spécifier un domaine. Sous ce domaine, toutes les pages / tous les fichiers répondant aux paramètres requis seront téléchargés.

5. Les liens peuvent être convertis en liens hors connexion pour la navigation

6. Vous avez des modèles qui vous permettent de choisir les paramètres ci-dessus pour vous

Le logiciel n’est cependant pas gratuit - voyez si cela répond à vos besoins, utilisez la version d’évaluation.

itsucks - c'est le nom du programme!

Je vais aborder la mise en mémoire tampon en ligne que les navigateurs utilisent ...

Généralement, la plupart des navigateurs utilisent un cache de navigation pour conserver les fichiers téléchargés depuis un site Web pendant un moment, de sorte que vous n'ayez pas à télécharger des images statiques et du contenu encore et encore. Cela peut accélérer les choses un peu dans certaines circonstances. De manière générale, la plupart des caches de navigateur sont limités à une taille fixe. Lorsque cette limite est atteinte, les fichiers les plus anciens sont supprimés.

Les FAI ont généralement des serveurs de mise en cache qui conservent des copies des sites Web les plus consultés, tels que ESPN et CNN. Cela leur évite d'avoir à visionner ces sites chaque fois que quelqu'un sur leur réseau y va. Cela peut représenter une économie importante sur le nombre de demandes dupliquées adressées à des sites externes au fournisseur de services Internet.

J'aime l' explorateur hors ligne .
C'est un shareware, mais c'est très bon et facile à utiliser.

WebZip est également un bon produit.

Je ne l'ai pas fait depuis de nombreuses années, mais il existe encore quelques services publics. Vous voudrez peut-être essayer Web Snake . Je crois que je l'ai utilisé il y a des années. Je me suis tout de suite rappelé le nom quand j'ai lu votre question.

Je suis d'accord avec Stecy. S'il vous plaît ne pas marteler leur site. Très mauvais.

Essayez le navigateur BackStreet .

C'est un navigateur hors ligne puissant et gratuit. Programme de téléchargement et de visualisation de sites Web haute vitesse multithreading. En effectuant plusieurs requêtes de serveur simultanément, BackStreet Browser peut télécharger rapidement un site Web entier ou une partie d’un site, y compris HTML, des graphiques, des applets Java, des fichiers audio et d’autres fichiers définissables par l’utilisateur, et enregistre tous les fichiers de votre disque dur, dans leur format natif. ou en tant que fichier ZIP compressé et voir hors connexion.

Teleport Pro est une autre solution gratuite qui permet de copier tous les fichiers de votre cible (également une version payante qui vous permettra d’extraire plus de pages de contenu).

DownThemAll est un module complémentaire de Firefox qui téléchargera tout le contenu (fichiers audio ou vidéo, par exemple) d'une page Web donnée en un seul clic. Cela ne télécharge pas l’ensemble du site, mais c’est peut-être ce que recherchait la question.

Pour Linux et OS X: j'ai écrit un site de saisie pour archiver des sites Web entiers dans des fichiers WARC . Ces fichiers WARC peuvent être parcourus ou extraits. grab-site vous permet de contrôler les URL à ignorer à l'aide d'expressions régulières. Vous pouvez les modifier lorsque l'analyse est en cours d'exécution. Il contient également un ensemble complet de valeurs par défaut pour ignorer les URL indésirables.

Il existe un tableau de bord Web pour surveiller les analyses, ainsi que des options supplémentaires pour ignorer le contenu vidéo ou les réponses dépassant une certaine taille.

Puissance wget

Bien que wget ait déjà été mentionné, cette ressource et cette ligne de commande étaient si simples que je pensais qu'elle méritait d'être mentionnée: wget -P /path/to/destination/directory/ -mpck --user-agent="" -e robots=off --wait 1 -E https://www.example.com/

Voir ce code expliqué sur expliquehell

Le vénérable FreeDownloadManager.org possède également cette fonctionnalité.

Free Download Manager est disponible sous deux formes: Site Explorer et Site Spider :

Site Explorer
Site Explorer vous permet d'afficher la structure des dossiers d'un site Web et de télécharger facilement les fichiers ou les dossiers nécessaires.
HTML Spider
Vous pouvez télécharger des pages Web entières ou même des sites Web entiers avec HTML Spider. L'outil peut être ajusté pour télécharger des fichiers avec des extensions spécifiées uniquement.

Je trouve que Site Explorer est utile pour voir quels dossiers inclure / exclure avant de tenter de télécharger tout le site - en particulier lorsqu'un forum entier se cache dans le site que vous ne souhaitez pas télécharger, par exemple.

télécharger HTTracker il va télécharger des sites Web très faciles à suivre.

lien de téléchargement: http://www.httrack.com/page/2/

Une vidéo pouvant vous aider peut vous aider: https://www.youtube.com/watch?v=7IHIGf6lcL4

Firefox peut le faire en mode natif (au moins 42 FF). Il suffit d'utiliser "Enregistrer la page"

Je crois que Google Chrome peut le faire sur les ordinateurs de bureau, il suffit d’aller dans le menu du navigateur et de cliquer sur enregistrer la page Web.

Notez également que des services tels que pocket peuvent ne pas réellement enregistrer le site Web et sont donc susceptibles de générer des liens.

Enfin, notez que la copie du contenu d'un site Web peut enfreindre le droit d'auteur, le cas échéant.