Vérifiez si toutes les lignes du fichier se trouvent dans un fichier différent

J'ai obtenu deux fichiers: file1 avec environ 10 000 lignes et file2 avec quelques centaines de lignes. Je veux vérifier si toutes les lignes de file2 se trouvent dans file1. Soit: ∀ ligne ℓ ∈ fichier2: ℓ ∈ fichier1

Si quelqu'un ne sait pas ce que ces symboles signifient ou ce que "vérifier si toutes les lignes du fichier2 se produisent dans le fichier1" signifie: Plusieurs lignes équivalentes dans les deux fichiers n'influencent pas si la vérification retourne que les fichiers répondent ou non à l'exigence.

Comment puis-je faire cela?

comm -13 <(sort -u file_1) <(sort -u file_2)

Cette commande produira des lignes uniques à file_2. Donc, si la sortie est vide, toutes les file_2lignes sont contenues dans le file_1.

De l'homme de communication:

   With  no  options,  produce  three-column  output.  Column one contains
   lines unique to FILE1, column two contains lines unique to  FILE2,  and
   column three contains lines common to both files.

   -1     suppress column 1 (lines unique to FILE1)

   -2     suppress column 2 (lines unique to FILE2)

   -3     suppress column 3 (lines that appear in both files)

[ $(grep -cxFf file2 <(sort -u file1)) = $(sort -u file2 | wc -l) ] && 
  echo all there || 
  echo some missing

Si le nombre de correspondances de file2 dans (les lignes uniques de) file1 est le même que le nombre de lignes uniques dans file2, alors ils sont tous là; sinon, ils ne le sont pas.

Utiliser GNU awkoù il prend en charge une length(array)fonctionnalité spécifique (et une autre awkimplémentation qui peut prendre en charge) et non requis si les fichiers sont triés.

gawk 'FNR==NR{seen[$0];next} ($0 in seen){delete seen[$0]};
    END{print (!length(seen))?"Matched":"Not Matched"}' file2 file1

Cela lit file2 dans un tableau appelé seenavec la clé comme ligne entière de file2 .

Ensuite, lisez le fichier1 et pour chaque ligne si elle correspond aux lignes du tableau, puis supprimez cette clé.

À la fin, si le tableau était vide, toutes les lignes du fichier2 existent dans le fichier1 et s'imprimeront Matched, sinon elles s'afficheront Not Matched.

Pour la compatibilité dans toutes les awkimplémentations.

awk 'FNR==NR{seen[$0];next} ($0 in seen){delete seen[$0]};
    END{for(x in seen);print (!x)?"Matched":"Not Matched"}' file2 file1

Pour ignorer les lignes vides / ou les lignes avec des espaces blancs uniquement si dans le fichier2 , vous devrez ajouter NFà la condition dans NR==FNR && NF {...pour ignorer leur lecture dans le tableau.

À l'aide de, commvous pouvez trouver des lignes communes aux deux fichiers.

comm -12 file1 file2

Jetez un oeil à man commpour plus de détails

diff -q <(sort -u file2) <(grep -Fxf file2 file1 | sort -u)

produira aucune sortie si file1contient toutes les lignes dans file2et avec le statut de sortie 0, sinon il imprime quelque chose comme

Files /proc/self/fd/11 and /proc/self/fd/12 differ

et sortir avec le statut 1

Utilisez un programme Python:

#!/usr/bin/env python3
import sys

def open_arg(path):
    return sys.stdin if path == '-' else open(path)

def strip_linebreak(s):
    return s[:-1] if s.endswith('\n') else s

with open_arg(sys.argv[1]) as pattern_file:
    patterns = set(map(strip_linebreak, pattern_file))

with open_arg(sys.argv[2]) as dataset_file:
    for l in map(strip_linebreak, dataset_file):
        patterns.remove(l)
        if not patterns:
            break

sys.exit(int(bool(patterns)))

Usage:

python3 contains-all.py file2 file1

L'état de sortie du programme indique si tous les modèles du fichier 2 ont été mis en correspondance:

• 0 (succès) signifie que tous les modèles ont été appariés.
• 1 (échec) signifie que certains modèles ne correspondent pas.

Pour interroger l'état de sortie dans un shell (script) , vous pouvez utiliser la $?variable spéciale ou d' autres expressions qui le statut de sortie de commande, par exemple les opérateurs de court-circuit &&et ||et des expressions conditionnelles comme ifou while. Exemple:

if python3 compare-all.py file2 file1 && some-other --condition; then
    # do stuff
fi

combinede moreutils vous montrera toutes les lignes file2qui ne sont pas en accordfile1 avec:

combine file2 not file1

Ensuite, vous pouvez compter le nombre de lignes en le redirigeant vers wc -l, comme:

if [ $(combine file2 not file1 | wc -l) != 0 ]; then
  echo "lines missing"
else
  echo "You're fine"
fi