Comment combiner wget et grep

11

J'ai une URL de page html et je veux la grep. Comment puis-je le faire wget someArgs | grep keyword?

Ma première idée était wget -q -O - url | grep keyword, mais la sortie de wget contourne grep et se pose sur le terminal dans sa forme d'origine.

grep wget

— Jofsey
source

grep sélectionne des lignes délimitées (par exemple) par des caractères de retour chariot et de saut de ligne, une réponse HTML n'a pas de lignes contenant du texte avec un balisage comme <br> ou <p> de sorte que toute la page Web puisse ressembler à une ligne à grep

— RedGrittyBrick

1

@RedGrittyBrick La commande du PO fonctionne parfaitement pour moi.

— slhck

11

Le moyen le plus simple consiste à utiliser curll'option -sde silence:

curl -s http://somepage.com | grep whatever

— Marco
source

@slhck: Les deux commandes font exactement la même chose pour moi.

— Dennis

@Dennis Essayer curling http://superuser.com/questions/431581. Pour une raison quelconque, je l'ai testé avec cette URL particulière et je n'ai obtenu aucune sortie. Je ne sais pas ce qui me manque.

— slhck

@slhck: Curl ne suit pas les redirections par défaut. Il le fait avec le -Lcommutateur.

— Dennis

@Dennis Je ne savais pas de quoi vous parliez sans voir les commentaires supprimés - mais oui, cela a du sens. Merci de l'avoir éclairci.

— slhck

1

La question demande wget. Pas bouclé. Cela ne fonctionnera pas avec plusieurs redirections et l'option -L.

— Ligemer

11

Garder cela dans un souci d'exhaustivité.

Votre exemple devrait réellement fonctionner. La syntaxe est correcte, et voici un screencast que je viens de prendre pour le démontrer , avec un bon vieux GNU wget1.13.4.

wget -q some-url -O - | grep something

Supposez donc que votre modèle est incorrect et qu'il grepproduira simplement tout ce qu'il a.

— slhck
source

Il peut également s'agir d'une faute de frappe dans l'URL. Avec -q, il n'y a pas de message d'erreur.

— Dennis

3

Ce bug a été corrigé dans la v1.12.1 dans une autre version . Actuellement, j'utilise la v1.15 et cela fonctionne comme prévu.

— Leben Gleben
source

3

Si vous cherchez des en-têtes grep ou pipe, ils sont dirigés par défaut vers stderr, vous devez donc les rediriger. Par exemple:

wget -O - http://example.com/page.php > /dev/null 2>&1 | grep HTTP

— ErichBSchulz
source

2

C'est la bonne façon de procéder, merci!

— Udayraj Deshmukh

Voir aussi les réponses ici

— Suzana

0

Le wgetécrit sa sortie dans stderr not to stdout, il faut donc rediriger le stderrvers stdout:

wget -q -O - url 2&>1 | grep keyword

— vstepaniuk
source