Commande Unix pour trouver des lignes communes dans deux fichiers

Je suis sûr que j'ai trouvé une fois une commande unix qui pourrait imprimer les lignes communes de deux fichiers ou plus, est-ce que quelqu'un connaît son nom? C'était beaucoup plus simple que diff.

La commande que vous recherchez est comm. par exemple:-

comm -12 1.sorted.txt 2.sorted.txt

Ici:

-1 : supprimer la colonne 1 (lignes uniques à 1.sorted.txt)

-2 : supprimer la colonne 2 (lignes uniques à 2.sorted.txt)

Pour appliquer facilement la commande comm à des fichiers non triés , utilisez la substitution de processus de Bash :

$ bash --version
GNU bash, version 3.2.51(1)-release
Copyright (C) 2007 Free Software Foundation, Inc.
$ cat > abc
123
567
132
$ cat > def
132
777
321

Ainsi les fichiers abc et def ont une ligne en commun, celle avec "132". Utilisation de la communication sur des fichiers non triés:

$ comm abc def
123
    132
567
132
    777
    321
$ comm -12 abc def # No output! The common line is not found
$

La dernière ligne n'a produit aucune sortie, la ligne commune n'a pas été découverte.

Maintenant, utilisez comm sur les fichiers triés, en triant les fichiers avec la substitution de processus:

$ comm <( sort abc ) <( sort def )
123
            132
    321
567
    777
$ comm -12 <( sort abc ) <( sort def )
132

Maintenant, nous avons la ligne 132!

Pour compléter le one-liner Perl, voici son awkéquivalent:

awk 'NR==FNR{arr[$0];next} $0 in arr' file1 file2

Cela lira toutes les lignes du file1tableau arr[], puis vérifiera chaque ligne file2si elle existe déjà dans le tableau (c'est-à-dire file1). Les lignes trouvées seront imprimées dans l'ordre dans lequel elles apparaissent file2. Notez que la comparaison in arrutilise la ligne entière de file2comme index au tableau, elle ne rapportera donc que les correspondances exactes sur des lignes entières.

Peut-être que tu veux dire comm?

Comparez les fichiers triés FILE1 et FILE2 ligne par ligne.

Sans options, produisez une sortie à trois colonnes. La première colonne contient des lignes uniques à FILE1, la deuxième colonne contient des lignes uniques à FILE2 et la troisième colonne contient des lignes communes aux deux fichiers.

Le secret pour trouver ces informations sont les pages d'informations. Pour les programmes GNU, ils sont beaucoup plus détaillés que leurs pages de manuel. Essayez info coreutilset il vous listera tous les petits outils utiles.

Tandis que

grep -v -f 1.txt 2.txt > 3.txt

vous donne les différences de deux fichiers (ce qui est en 2.txt et non en 1.txt), vous pouvez facilement faire un

grep -f 1.txt 2.txt > 3.txt

pour collecter toutes les lignes courantes, ce qui devrait fournir une solution simple à votre problème. Si vous avez trié des fichiers, vous devriez commquand même prendre . Cordialement!

Si les deux fichiers ne sont pas encore triés, vous pouvez utiliser:

comm -12 <(sort a.txt) <(sort b.txt)

et cela fonctionnera, en évitant le message d'erreur comm: file 2 is not in sorted order en faisant comm -12 a.txt b.txt.

perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/'  file1 file2

awk 'NR==FNR{a[$1]++;next} a[$1] ' file1 file2

Sur une version limitée de Linux (comme un QNAP (nas) sur lequel je travaillais):

• comm n'existait pas
• grep -f file1 file2peut causer des problèmes comme le dit @ChristopherSchultz et l'utilisation grep -F -f file1 file2était vraiment lente (plus de 5 minutes - pas fini - plus de 2-3 secondes avec la méthode ci-dessous sur des fichiers de plus de 20 Mo)

Alors voici ce que j'ai fait:

sort file1 > file1.sorted
sort file2 > file2.sorted

diff file1.sorted file2.sorted | grep "<" | sed 's/^< *//' > files.diff
diff file1.sorted files.diff | grep "<" | sed 's/^< *//' > files.same.sorted

Si files.same.sorteddoit avoir été dans le même ordre que les originaux, alors ajoutez cette ligne pour le même ordre que file1:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file1 > files.same

ou, pour le même ordre que file2:

awk 'FNR==NR {a[$0]=$0; next}; $0 in a {print a[$0]}' files.same.sorted file2 > files.same

À titre de référence, si quelqu'un cherche toujours à faire cela pour plusieurs fichiers, consultez la réponse liée à la recherche de lignes correspondantes dans de nombreux fichiers.

En combinant ces deux réponses ( ans1 et ans2 ), je pense que vous pouvez obtenir le résultat dont vous avez besoin sans trier les fichiers:

#!/bin/bash
ans="matching_lines"

for file1 in *
do 
    for file2 in *
        do 
            if  [ "$file1" != "$ans" ] && [ "$file2" != "$ans" ] && [ "$file1" != "$file2" ] ; then
                echo "Comparing: $file1 $file2 ..." >> $ans
                perl -ne 'print if ($seen{$_} .= @ARGV) =~ /10$/' $file1 $file2 >> $ans
            fi
         done 
done

Enregistrez-le simplement, donnez-lui les droits d'exécution ( chmod +x compareFiles.sh) et exécutez-le. Il prendra tous les fichiers présents dans le répertoire de travail courant et fera une comparaison tout contre tout en laissant dans le fichier "matching_lines" le résultat.

Choses à améliorer:

• Ignorer les répertoires
• Évitez de comparer tous les fichiers deux fois (fichier1 vs fichier2 et fichier2 vs fichier1).
• Ajoutez peut-être le numéro de ligne à côté de la chaîne correspondante

rm file3.txt

cat file1.out | while read line1
do
        cat file2.out | while read line2
        do
                if [[ $line1 == $line2 ]]; then
                        echo $line1 >>file3.out
                fi
        done
done

Cela devrait le faire.