Grep Match et extrait

J'ai un fichier qui contient des lignes comme

proto=tcp/http  sent=144        rcvd=52 spkt=3 
proto=tcp/https  sent=145        rcvd=52 spkt=3
proto=udp/dns  sent=144        rcvd=52 spkt=3

Je dois extraire la valeur de proto qui est tcp/http, tcp/https, udp/dns.

Jusqu'à présent, j'ai essayé cela, grep -o 'proto=[^/]*/'mais je n'ai pu extraire la valeur que proto=tcp/.

En supposant que cela est lié à votre question précédente , vous vous trompez de chemin. Plutôt que d'essayer de reconstituer des morceaux de scripts qui feront un peu / sorta ce que vous voulez la plupart du temps et ayant besoin d'obtenir un script complètement différent à chaque fois que vous avez besoin de faire quelque chose de légèrement différent, créez simplement 1 script qui peut analyser votre fichier d'entrée dans un tableau ( f[]ci-dessous) qui mappe les noms de vos champs (balises) à leurs valeurs, puis vous pouvez faire tout ce que vous voulez avec le résultat, par exemple, étant donné ce fichier d'entrée de votre question précédente:

$ cat file
Feb             3       0:18:51 17.1.1.1                      id=firewall     sn=qasasdasd "time=""2018-02-03"     22:47:55        "UTC""" fw=111.111.111.111       pri=6    c=2644        m=88    "msg=""Connection"      "Opened"""      app=2   n=2437       src=12.1.1.11:49894:X0       dst=4.2.2.2:53:X1       dstMac=42:16:1b:af:8e:e1        proto=udp/dns   sent=83 "rule=""5"      "(LAN->WAN)"""

nous pouvons écrire un script awk qui crée un tableau des valeurs indexées par leurs noms / balises:

$ cat tst.awk
{
    f["hdDate"] = $1 " " $2
    f["hdTime"] = $3
    f["hdIp"]   = $4
    sub(/^([^[:space:]]+[[:space:]]+){4}/,"")

    while ( match($0,/[^[:space:]]+="?/) ) {
        if ( tag != "" ) {
            val = substr($0,1,RSTART-1)
            gsub(/^[[:space:]]+|("")?[[:space:]]*$/,"",val)
            f[tag] = val
        }

        tag = substr($0,RSTART,RLENGTH-1)
        gsub(/^"|="?$/,"",tag)

        $0 = substr($0,RSTART+RLENGTH)
    }

    val = $0
    gsub(/^[[:space:]]+|("")?[[:space:]]*$/,"",val)
    f[tag] = val
}

et étant donné que vous pouvez faire ce que vous voulez avec vos données, il suffit de les référencer par les noms de champs, par exemple en utilisant GNU awk -epour faciliter le mélange d'un script dans un fichier avec un script de ligne de commande:

$ awk -f tst.awk -e '{for (tag in f) printf "f[%s]=%s\n", tag, f[tag]}' file
f[fw]=111.111.111.111
f[dst]=4.2.2.2:53:X1
f[sn]=qasasdasd
f[hdTime]=0:18:51
f[sent]=83
f[m]=88
f[hdDate]=Feb 3
f[n]=2437
f[app]=2
f[hdIp]=17.1.1.1
f[src]=12.1.1.11:49894:X0
f[c]=2644
f[dstMac]=42:16:1b:af:8e:e1
f[msg]="Connection"      "Opened"
f[rule]="5"      "(LAN->WAN)"
f[proto]=udp/dns
f[id]=firewall
f[time]="2018-02-03"     22:47:55        "UTC"
f[pri]=6

$ awk -f tst.awk -e '{print f["proto"]}' file
udp/dns

$ awk -f tst.awk -e 'f["proto"] ~ /udp/ {print f["sent"], f["src"]}' file
83 12.1.1.11:49894:X0

Avec grep -o, vous devrez faire correspondre exactement ce que vous voulez extraire. Puisque vous ne voulez pas extraire la proto=chaîne, vous ne devez pas la faire correspondre.

Une expression régulière étendue qui correspondrait tcpou serait udpsuivie d'une barre oblique et d'une chaîne alphanumérique non vide est

(tcp|udp)/[[:alnum:]]+

Appliquer cela sur vos données:

$ grep -E -o '(tcp|udp)/[[:alnum:]]+' file
tcp/http
tcp/https
udp/dns

Pour vous assurer que nous ne le faisons que sur les lignes commençant par la chaîne proto=:

grep '^proto=' file | grep -E -o '(tcp|udp)/[[:alnum:]]+'

Avec sed, tout supprimer avant le premier =et après le premier caractère vierge:

$ sed 's/^[^=]*=//; s/[[:blank:]].*//' file
tcp/http
tcp/https
udp/dns

Pour vous assurer que nous ne le faisons que sur les lignes commençant par la chaîne proto=, vous pouvez insérer la même étape de prétraitement grepque ci-dessus, ou vous pouvez utiliser

sed -n '/^proto=/{ s/^[^=]*=//; s/[[:blank:]].*//; p; }' file

Ici, nous supprimons la sortie par défaut avec l' -noption, puis nous déclenchons les substitutions et une impression explicite de la ligne uniquement si la ligne correspond ^proto=.

Avec awk, en utilisant le séparateur de champs par défaut, puis en divisant le premier champ =et en imprimant le deuxième bit:

$ awk '{ split($1, a, "="); print a[2] }' file
tcp/http
tcp/https
udp/dns

Pour vous assurer que nous ne le faisons que sur les lignes commençant par la chaîne proto=, vous pouvez insérer la même étape de prétraitement grepque ci-dessus, ou vous pouvez utiliser

awk '/^proto=/ { split($1, a, "="); print a[2] }' file

Si vous êtes sur GNU grep (pour l' -Poption), vous pouvez utiliser:

$ grep -oP 'proto=\K[^ ]*' file
tcp/http
tcp/https
udp/dns

Ici, nous faisons correspondre la proto=chaîne, pour nous assurer que nous extrayons la colonne correcte, mais nous la supprimons de la sortie avec l' \Kindicateur.

Ce qui précède suppose que les colonnes sont séparées par des espaces. Si les tabulations sont également un séparateur valide, vous utiliseriez \Spour faire correspondre les caractères non blancs, donc la commande serait:

grep -oP 'proto=\K\S*' file

Si vous souhaitez également vous protéger contre les champs de correspondance où se proto=trouve une sous-chaîne, comme un thisisnotaproto=tcp/https, vous pouvez ajouter une limite de mot avec \bceci:

grep -oP '\bproto=\K\S*' file

En utilisant awk:

awk '$1 ~ "proto" { sub(/proto=/, ""); print $1 }' input

$1 ~ "proto"assurera que nous n'agissons que sur les lignes avec protodans la première colonne

sub(/proto=/, "") va supprimer proto= de l'entrée

print $1 imprime la colonne restante

$ awk '$1 ~ "proto" { sub(/proto=/, ""); print $1 }' input
tcp/http
tcp/https
udp/dns

Code golf sur les grepsolutions

grep -Po "..p/[^ ]+" file

ou même

grep -Po "..p/\S+" file

Utilisation de la cutcommande:

cut -b 7-15 foo.txt

Juste une autre grepsolution:

grep -o '[^=/]\+/[^ ]\+' file

Et un modèle similaire avec sedimpression uniquement du groupe capturé correspondant:

sed -n 's/.*=\([^/]\+\/[^ ]\+\).*/\1/p' file

Une autre awkapproche:

$ awk -F'[= ]' '/=(tc|ud)p/{print $2}' file
tcp/http
tcp/https
udp/dns

Cela définira le séparateur de champ awk sur l'un =ou sur un espace. Ensuite, si la ligne correspond à a =, alors soit udou tcsuivi de a p, imprimez le 2ème champ.

Une autre sedapproche (non portable sur toutes les versions de sed, mais fonctionne avec GNU sed):

$ sed -En 's/^proto=(\S+).*/\1/p' file 
tcp/http
tcp/https
udp/dns

Le -nmoyen "ne pas imprimer" et le -Epermet des expressions régulières étendues qui nous donnent \Spour "non-blanc", +pour "un ou plusieurs" et les parenthèses pour la capture. Enfin, /pà la fin fera sed imprimer une ligne uniquement si l'opération a réussi donc s'il y avait une correspondance pour l'opérateur de substitution.

Et, un perl:

$ perl -nle '/^proto=(\S+)/ && print $1' file 
tcp/http
tcp/https
udp/dns

Le -nmoyen "lit le fichier d'entrée ligne par ligne et applique le script donné par -eà chaque ligne". Le -lajoute une nouvelle ligne à chaque printappel (et supprime les nouvelles lignes sortantes de l'entrée). Le script lui-même imprimera la plus longue séquence de caractères non blancs trouvée après a proto=.

Voici une autre solution assez simple:

grep -o "[tc,ud]*p\\/.*  "   INPUTFile.txt  |   awk '{print $1}'

awk '{print $1}' filename|awk -F "=" '{print $NF}'

cat file| cut -f1 -d' '| cut -f2 -d'='
tcp/http
tcp/https
udp/dns

options de coupe:

• -f - champ
• -d - délimètre