Comment utiliser grep et cut in script pour obtenir les URL de sites Web à partir d'un fichier HTML

J'essaie d'utiliser grep et cut pour extraire les URL d'un fichier HTML. Les liens ressemblent à:

<a href="http://examplewebsite.com/">

D'autres sites Web l'ont fait .net, .govmais je suppose que je pourrais faire le point juste avant >. Je sais donc que je peux utiliser grep et cut d'une manière ou d'une autre pour tout couper avant http et après .com, mais je suis coincé dessus depuis un moment.

Comme je l'ai dit dans mon commentaire, ce n'est généralement pas une bonne idée d'analyser le HTML avec des expressions régulières, mais vous pouvez parfois vous en tirer si le HTML que vous analysez se comporte bien.

Afin d'obtenir uniquement les URL qui se trouvent dans l' hrefattribut des <a>éléments, je trouve qu'il est plus facile de le faire en plusieurs étapes. D'après vos commentaires, il semble que vous ne souhaitiez que le domaine de premier niveau, pas l'URL complète. Dans ce cas, vous pouvez utiliser quelque chose comme ceci:

grep -Eoi '<a [^>]+>' source.html |
grep -Eo 'href="[^\"]+"' | 
grep -Eo '(http|https)://[^/"]+'

où source.htmlest le fichier contenant le code HTML à analyser.

Ce code imprimera toutes les URL de niveau supérieur qui apparaissent comme l' hrefattribut de tous les <a>éléments de chaque ligne. L' -ioption de la première grepcommande est de faire en sorte que cela fonctionnera sur les deux <a>et <A>éléments. Je suppose que vous pourriez aussi donner -iau 2egrep pour capturer les HREFattributs majuscules , OTOH, je préférerais ignorer un tel HTML cassé. :)

Pour traiter le contenu de http://google.com/

wget -qO- http://google.com/ |
grep -Eoi '<a [^>]+>' | 
grep -Eo 'href="[^\"]+"' | 
grep -Eo '(http|https)://[^/"]+'

production

http://www.google.com.au
http://maps.google.com.au
https://play.google.com
http://www.youtube.com
http://news.google.com.au
https://mail.google.com
https://drive.google.com
http://www.google.com.au
http://www.google.com.au
https://accounts.google.com
http://www.google.com.au
https://www.google.com
https://plus.google.com
http://www.google.com.au

Ma sortie est un peu différente des autres exemples car je suis redirigé vers la page Google australienne.

Je ne sais pas si vous êtes limité sur les outils:

Mais l'expression régulière n'est peut-être pas la meilleure façon de procéder, comme mentionné, mais voici un exemple que j'ai rassemblé:

cat urls.html | grep -Eo "(http|https)://[a-zA-Z0-9./?=_-]*" | sort -u

• grep -E: est le même que egrep
• grep -o: affiche uniquement ce qui a été récupéré
• (http | https): est un / ou
• az: est tout en minuscules
• AZ: est tout cas majuscule
• . : est un point
• \?: est ?
• *: c'est répéter le [...] groupe
• uniq: supprimera tous les doublons

Production:

bob@bob-NE722:~s$  wget -qO- https://stackoverflow.com/ | grep -Eo "(http|https)://[a-zA-Z0-9./?=_-]*" | sort -u
https://stackauth.com
https://meta.stackoverflow.com
https://cdn.sstatic.net/Img/svg-icons
https://stackoverflow.com
https://www.stackoverflowbusiness.com/talent
https://www.stackoverflowbusiness.com/advertising
https://stackoverflow.com/users/login?ssrc=head
https://stackoverflow.com/users/signup?ssrc=head
https://stackoverflow.com
https://stackoverflow.com/help
https://chat.stackoverflow.com
https://meta.stackoverflow.com
...

Vous pouvez également ajouter \dpour attraper d'autres types de chiffres.

Si votre grep prend en charge les expressions rationnelles Perl:

grep -Po '(?<=href=")[^"]*(?=")'

• (?<=href=")et (?=")sont des expressions de contournement pour l' hrefattribut. Cela nécessite l' -Poption.
• -o imprime le texte correspondant.

Par exemple:

$ curl -sL https://www.google.com | grep -Po '(?<=href=")[^"]*(?=")'
/search?
https://www.google.co.in/imghp?hl=en&tab=wi
https://maps.google.co.in/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
https://www.youtube.com/?gl=IN&tab=w1
https://news.google.co.in/nwshp?hl=en&tab=wn
...

Comme d'habitude, rien ne garantit que ce sont des URI valides ou que le code HTML que vous analysez sera valide.

Comme alternative non regex , utilisez pup :

pup 'a[href] attr{href}' < yourfile.html

Trouvera tous les aéléments qui ont un hrefattribut, puis affichera la valeur duhref attribut.

Pour installer pup, vous avez besoin de Go (un langage de programmation):

sudo apt-get install golang
sudo go get github.com/ericchiang/pup

L'avantage de cette solution est qu'elle ne dépend pas du formatage correct du HTML .

J'ai trouvé une solution ici qui est à humble avis beaucoup plus simple et potentiellement plus rapide que ce qui a été proposé ici. J'ai ajusté un peu pour prendre en charge les fichiers https. Mais la version TD; TR est ...

PS: Vous pouvez remplacer l'URL du site par un chemin d'accès à un fichier et cela fonctionnera de la même manière.

lynx -dump -listonly -nonumbers "http://www.goggle.com" > links.txt

lynx -dump -listonly -nonumbers "some-file.html" > links.txt

Si vous souhaitez simplement voir les liens au lieu de les placer dans un fichier, essayez plutôt ceci ...

lynx -dump -listonly -nonumbers "http://www.google.com"

lynx -dump -listonly -nonumbers "some-file.html"

Le résultat ressemblera à ce qui suit ...

http://www.google.ca/imghp?hl=en&tab=wi
http://maps.google.ca/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
http://www.youtube.com/?gl=CA&tab=w1
http://news.google.ca/nwshp?hl=en&tab=wn
https://mail.google.com/mail/?tab=wm
https://drive.google.com/?tab=wo
https://www.google.ca/intl/en/options/
http://www.google.ca/history/optout?hl=en
...
etc.

Pour mon cas d'utilisation, cela a très bien fonctionné. Mais attention, de nos jours, les gens ajoutent des liens comme src = "// blah.tld" pour l'URI CDN des bibliothèques. Je ne voulais pas les voir dans les liens récupérés.

Pas besoin d'essayer de vérifier les liens href ou autres sources car "lynx -dump" extraira par défaut tous les liens cliquables d'une page donnée. Donc, la seule chose que vous devez faire après cela est d'analyser le résultat de "lynx -dump" en utilisant grep pour obtenir une version brute plus propre du même résultat.

wget -qO- google.com |
tr \" \\n | grep https\*://

... ferait probablement très bien. Tel qu'écrit, il imprime:

http://schema.org/WebPage
http://www.google.com/imghp?hl=en&tab=wi
http://maps.google.com/maps?hl=en&tab=wl
https://play.google.com/?hl=en&tab=w8
http://www.youtube.com/?tab=w1
http://news.google.com/nwshp?hl=en&tab=wn
https://mail.google.com/mail/?tab=wm
https://drive.google.com/?tab=wo
http://www.google.com/intl/en/options/
http://www.google.com/history/optout?hl=en
https://accounts.google.com/ServiceLogin?hl=en&continue=http://www.google.com/
https://www.google.com/culturalinstitute/project/the-holocaust?utm_source=google&utm_medium=hppromo&utm_campaign=auschwitz_q1&utm_content=desktop
https://plus.google.com/116899029375914044550

S'il est important de ne faire correspondre que des liens et parmi ces domaines de premier niveau, vous pouvez faire:

wget -qO- google.com |
sed '/\n/P;//!s|<a[^>]*\(https*://[^/"]*\)|\n\1\n|;D'

... ou quelque chose comme ça - bien que pour certains seds vous devrez peut-être substituer un caractère littéral \newline pour chacun des deux derniers ns.

Comme écrit, la commande ci-dessus imprime:

http://www.google.com
http://maps.google.com
https://play.google.com
http://www.youtube.com
http://news.google.com
https://mail.google.com
https://drive.google.com
http://www.google.com
http://www.google.com
http://www.google.com
https://www.google.com
https://plus.google.com

... et dans les deux cas (mais probablement le plus utilement avec ce dernier), vous pouvez virer |sort -uau bout d' un filtre pour obtenir la liste sortet supprimer les doublons.

Le plus court

grep -r http . --color

echo "<a href="http://examplewebsite.com/">"|sed -r 's:<.*"::g'|sed 's:/">$::g'