Texte entre deux balises

Je veux récupérer tout ce qui se trouve entre ces deux balises - <tr> </tr>- à partir d'un document html. Maintenant, je n'ai pas d'exigences HTML spécifiques qui justifieraient un analyseur HTML. J'ai simplement besoin de quelque chose qui corresponde <tr>et </tr>obtienne tout entre les deux et il pourrait y avoir plusieurs trs. J'ai essayé awk, qui fonctionne, mais pour une raison quelconque, il finit par me donner des doublons de chaque ligne extraite.

awk '
/<TR/{p=1; s=$0}
p && /<\/TR>/{print $0 FS s; s=""; p=0}
p' htmlfile> newfile

Que faire à ce propos?

Si vous ne voulez que ...de tout, <tr>...</tr>faites:

grep -o '<tr>.*</tr>' HTMLFILE | sed 's/\(<tr>\|<\/tr>\)//g' > NEWFILE

Pour les multilignes:

tr "\n" "|" < HTMLFILE | grep -o '<tr>.*</tr>' | sed 's/\(<tr>\|<\/tr>\)//g;s/|/\n/g' > NEWFILE

Vérifiez d'abord le HTMLFILE du caractère "|" (pas habituel, mais possible) et s'il existe, changez-en un qui n'existe pas.

Vous avez une exigence qui garantit un analyseur HTML: vous devez analyser HTML. Perl HTML :: TreeBuilder , Python BeautifulSoup et d' autres sont faciles à utiliser, plus facile que d' écrire des expressions régulières complexes et fragiles.

perl -MHTML::TreeBuilder -le '
    $html = HTML::TreeBuilder->new_from_file($ARGV[0]) or die $!;
    foreach ($html->look_down(_tag => "tr")) {
        print map {$_->as_HTML()} $_->content_list();
    }
' input.html

ou

python -c 'if True:
    import sys, BeautifulSoup
    html = BeautifulSoup.BeautifulSoup(open(sys.argv[1]).read())
    for tr in html.findAll("tr"):
        print "".join(tr.contents)
' input.html

sedet awkne sont pas bien adaptés à cette tâche, vous devriez plutôt utiliser un analyseur html approprié. Par exemple hxselectde w3.org:

<htmlfile hxselect -s '\n' -c 'tr'

Si rubyest disponible, vous pouvez effectuer les opérations suivantes

ruby -e 'puts readlines.join[/(?<=<tr>).+(?=<\/tr>)/m].gsub(/<\/?tr>/, "")' file

où fileest votre fichier html d'entrée. La commande exécute un Ruby one-liner. Tout d' abord, il lit toutes les lignes de fileet les joint à une chaîne, readlines.join. Puis, de la chaîne , il sélectionne quoi que ce soit entre (mais non compris) <tr>et <\/tr>qui est un caractère ou plus sans tenir compte de nouvelles lignes, [/(?<=<tr>).+(?=<\/tr>)/m]. Ensuite, il supprime tout <tr>ou </tr>de la chaîne gsub(/<\/?tr>/, "")(cela est nécessaire pour gérer les trbalises imbriquées ). Enfin, elle imprime la chaîne, puts.

Vous avez dit qu'un analyseur HTML n'est pas garanti pour vous, mais qu'il est très facile à utiliser avec Nokogiriruby et rend la commande plus simple.

ruby -rnokogiri -e 'puts Nokogiri::HTML(readlines.join).xpath("//tr").map { |e| e.content }' file

-rnokogiricharge Nokogiri. Nokogiri::HTML(readlines.join)lit toutes les lignes de file. xpath("//tr")sélectionne chaque trélément et map { |e| e.content }sélectionne le contenu de chaque élément, c'est-à-dire ce qui est entre <tr>et </tr>.

grep

Pour récupérer le contenu d'une trbalise sur plusieurs lignes, passez-le d' xargsabord, par exemple:

curl -sL https://www.iana.org/ | xargs | egrep -o "<tr>.*?</tr>"

Pour renvoyer uniquement du HTML interne, utilisez:

curl -sL https://www.iana.org/ | xargs | grep -Po "<tr>\K(.*?)</tr>" | sed "s/..tr.//g"

^{Vérifiez la syntaxe des perlremodèles étendus .}

^{Remarque: Pour des performances plus rapides, vous pouvez envisager celui ripgrepqui a une syntaxe similaire.}

pup

Exemple utilisant pup(qui utilise des sélecteurs CSS ):

pup -f myfile.html tr

Pour imprimer le texte seulement sans balises, utilisez: pup -f myfile.html tr text{}.

Voici quelques exemples avec curl:

curl -sL https://www.iana.org/ | pup tr text{}
pup -f <(curl -sL https://www.iana.org/) tr text{}

xpup

Exemple d'utilisation xpuppour l'analyse HTML / XML (qui prend en charge XPath):

xpup -f myfile.html "//tr"

si c'est juste une liste rapide de <tr>s, cela pourrait aider:

perl -ne 'print if /<tr>/../</tr>/' your.html > TRs.log

à votre santé