Différence de deux gros fichiers

J'ai "test1.csv" et il contient

200,400,600,800
100,300,500,700
50,25,125,310

et test2.csv et il contient

100,4,2,1,7
200,400,600,800
21,22,23,24,25
50,25,125,310
50,25,700,5

maintenant

diff test2.csv test1.csv > result.csv

est différent de

diff test1.csv test2.csv > result.csv

Je ne sais pas quel est le bon ordre mais je veux autre chose, les deux commandes ci-dessus produiront quelque chose comme

2 > 100,4,2,1,7
   3 2,3c3,5
   4 < 100,300,500,700
   5 < 50,25,125,310
   6 \ No newline at end of file
   7 ---
   8 > 21,22,23,24,25
   9 > 50,25,125,310

Je veux afficher uniquement la différence, donc results.csv devrait ressembler à ceci

100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

J'ai essayé diff -qet diff -smais ils n'ont pas fait l'affaire. L'ordre n'a pas d'importance, ce qui compte, c'est que je ne veux voir que la différence, pas de> ni <ni d'espace vide.

grep -FvF a fait l'affaire sur les petits fichiers pas sur les gros

le premier fichier contient plus de 5 millions de lignes, le second fichier en contient 1 300.

donc results.csv devrait donner environ 4 998 700 lignes

J'ai également essayé grep -F -x -v -f ce qui n'a pas fonctionné.

Cela ressemble à un travail pour comm:

$ comm -3 <(sort test1.csv) <(sort test2.csv)
100,300,500,700
    100,4,2,1,7
    21,22,23,24,25
    50,25,700,5

Comme expliqué dans man comm:

   -1     suppress column 1 (lines unique to FILE1)

   -2     suppress column 2 (lines unique to FILE2)

   -3     suppress column 3 (lines that appear in both files)

Ainsi, -3cela signifie que seules les lignes uniques à l'un des fichiers seront imprimées. Cependant, ceux-ci sont en retrait selon le fichier dans lequel ils ont été trouvés. Pour supprimer l'onglet, utilisez:

$ comm -3 <(sort test1.csv) <(sort test2.csv) | tr -d '\t'
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

Dans ce cas, vous n'avez même pas vraiment besoin de trier les fichiers et vous pouvez simplifier ce qui précède pour:

comm -3 test1.csv test2.csv | tr -d '\t' > difference.csv

Utilisation grepavec bashsubstitution de processus:

$ cat <(grep -vFf test2.csv test1.csv) <(grep -vFf test1.csv test2.csv)
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

Pour enregistrer la sortie sous results.csv:

cat <(grep -vFf test2.csv test1.csv) <(grep -vFf test1.csv test2.csv) >results.csv

• <()est le bashmodèle de substitution de processus

• grep -vFf test2.csv test1.csv trouvera les lignes uniques à seulement test1.csv

• grep -vFf test1.csv test2.csv trouvera les lignes uniques à seulement test2.csv

• Enfin, nous résumons les résultats en cat

Ou, comme l'a suggéré Oli , vous pouvez également utiliser le regroupement de commandes:

$ { grep -vFf test2.csv test1.csv; grep -vFf test1.csv test2.csv; }
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

Ou exécutez-les simplement l'un après l'autre, car ils écrivent tous les deux sur STDOUT, ils seront finalement ajoutés:

$ grep -vFf test2.csv test1.csv; grep -vFf test1.csv test2.csv
100,300,500,700
100,4,2,1,7
21,22,23,24,25
50,25,700,5

Si l'ordre des lignes n'est pas pertinent, utilisez awkou perl:

awk '{seen[$0]++} END {for (i in seen) {if (seen[i] == 1) {print i}}}' 1.csv 2.csv

Utilisez greppour obtenir les lignes communes et les filtrer:

grep -hxvFf <(grep -Fxf 1.csv 2.csv) 1.csv 2.csv

Le grep interne obtient les lignes communes, puis le grep externe trouve les lignes qui ne correspondent pas à ces lignes communes.

Utilisez les --*-line-format=...options dediff

Vous pouvez dire diffexactement ce dont vous avez besoin - expliqué ci-dessous:

diff --old-line-format='%L' --new-line-format='%L' --unchanged-line-format='' f1.txt f2.txt

Il est possible de spécifier la sortie de diff d'une manière très détaillée, semblable à un printf format numérique.

Les lignes du premier fichier, test1.csvsont appelées "anciennes" lignes, et les lignes du second test2.csv, sont des "nouvelles" lignes. Cela a du sens quand diffest utilisé pour voir ce qui a changé dans un fichier.

Les options dont nous avons besoin sont celles permettant de définir le format des "anciennes" lignes, des "nouvelles" lignes et des lignes "inchangées".
Les formats dont nous avons besoin sont très simples:
pour les lignes modifiées, nouvelles et anciennes, nous voulons afficher uniquement le texte des lignes. %Lest le symbole de format du texte de la ligne.
Pour les lignes inchangées, nous ne voulons rien montrer.

Avec cela, nous pouvons écrire des options comme --old-line-format='%L' , et tout assembler, en utilisant vos données d'exemple:

$ diff --old-line-format='%L' --new-line-format='%L' --unchanged-line-format='' test1.csv test2.csv
100,4,2,1,7
100,300,500,700
21,22,23,24,25
50,25,700,5

Notes sur les performances

Parce que les fichiers ont une taille différente, essayez d'échanger les fichiers d'entrée si cela n'a pas d'importance, il se peut que le fonctionnement interne de diff puisse gérer une manière mieux que l'autre. Mieux vaut soit avoir besoin de moins de mémoire, soit moins de calculs.

Il existe une option d'optimisation pour l'utilisation diff avec des fichiers volumineux: --speed-large-files. Il utilise des hypothèses sur la structure du fichier, il n'est donc pas clair si cela vous aide dans votre cas, mais cela vaut la peine de l'essayer.

Les options de format sont décrites ci- man diffdessous --LTYPE-line-format=LFMT.

Comme l'ordre n'a pas besoin d'être conservé, il suffit de:

sort test1.csv test2.csv | uniq -u

• sort test1.csv test2.csv: fusionne et trie test1.csvettest2.csv
• uniq -u: imprime uniquement les lignes sans doublon