Je recherche une araignée web pour Ubuntu comme celle-ci Webripper - Calluna Software . Vous pouvez télécharger tout un site comme vous le pouvez avec
wget -r -m example.com
mais la fonctionnalité que je recherche est que vous pouvez saisir un terme de recherche comme "Linux" et qu'il recherche sur le Web et les télécharge. Existe-t-il des programmes sur Ubuntu comme celui-ci?
Réponses:
Vous pouvez utiliser Google Alertes pour créer une sorte de page de recherche livrée à un flux, puis utiliser un lecteur RSS ou Thunderbird pour les lire.
J'utilise Thunderbird pour RSS. Je ne sais pas s'il existe des lecteurs RSS qui pourraient exporter le flux au format HTML simple.
Essayez httrack (CLI) ou webhttrack (interface web), c'est dans le repo de l'univers. Je ne suis pas sûr de la fonctionnalité de terme de recherche que vous décrivez, mais elle offre un tas d'options facilement configurables.
http://packages.ubuntu.com/de/oneiric/webhttrack
HTTrack Website Copier - Navigateur hors ligne de logiciel libre (GNU GPL)
Vous pouvez essayer http ripper .
Voici quelques fonctionnalités publiées sur le site Web:
Free Software (GPL 3) Generic (works with almost every website) Runs on GNU/Linux and Windows Nearly undetectable / blockable by servers Built with python and pygtk
Capture d'écran
Regardez un tutoriel du développeur de httpripper lui-même:
Lien de téléchargement:
Cela a fonctionné pour moi sous Ubuntu 11.10 x64
Il y a des modules adéquats au CPAN de Perl. Vous avez juste besoin d'un peu de script perl.
En particulier, jetez un œil au module WWW: Mechanize sur le module WWW: Mechanize .