Comment contourner les en-têtes «dernière modification» manquants?


13

Je cours wgetcomme ça:

wget --mirror --adjust-extension --convert-links --no-cookies http://tshepang.net -o log-main

Je reçois un tas de ces messages:

Last-modified header missing -- time-stamps turned off.

Je suppose que cela signifie que les pages sont de nouveau téléchargées, même si je les ai localement.

REMARQUE : je le souhaite pour ne pas avoir à télécharger à nouveau les fichiers existants chaque fois que j'exécute le miroir de commandes.


Êtes-vous le propriétaire de la page (si c'est vraiment tshepang.net). Si oui, le serveur Web est-il apache et avez-vous un contrôle sur sa configuration? Ou au moins .htaccess est-il activé avec le remplacement des options autorisé?
forcefsck

@forcefsck: Non, le site est géré par Posterous. Ils ont une API pour lire tous les articles, mais c'est une courbe d'apprentissage pour moi ces technologies Web.
tshepang

Réponses:


10

Avez-vous essayé d'ajouter le -cparamètre?

Extrait du manuel wget:

-c --continuer

À partir de Wget 1.7, si vous utilisez -c sur un fichier non vide et qu'il s'avère que le serveur ne prend pas en charge le téléchargement continu, Wget refusera de démarrer le téléchargement à partir de zéro, ce qui ruinerait effectivement le contenu existant. Si vous voulez vraiment que le téléchargement recommence à zéro, supprimez le fichier.

En commençant également par Wget 1.7, si vous utilisez -c sur un fichier de taille égale à celle du serveur, Wget refusera de télécharger le fichier et d'imprimer un message explicatif. La même chose se produit lorsque le fichier est plus petit sur le serveur que localement (probablement parce qu'il a été modifié sur le serveur depuis votre dernière tentative de téléchargement) --- parce que '' continuer '' n'a pas de sens, aucun téléchargement ne se produit.

De l'autre côté de la médaille, tout en utilisant -c, tout fichier plus gros sur le serveur que localement sera considéré comme un téléchargement incomplet et seuls les "(longueur (distant) - longueur (local))" octets seront téléchargés et collés sur la fin du fichier local. Ce comportement peut être souhaitable dans certains cas --- par exemple, vous pouvez utiliser wget -c pour télécharger uniquement la nouvelle partie qui a été ajoutée à une collection de données ou un fichier journal.

À ma connaissance, il devrait ignorer les fichiers déjà téléchargés et de la même taille.


Et si le fichier est plus petit?
CJ7
En utilisant notre site, vous reconnaissez avoir lu et compris notre politique liée aux cookies et notre politique de confidentialité.
Licensed under cc by-sa 3.0 with attribution required.