Vérifier que toutes les lignes d'un fichier sont uniques

J'ai un fichier texte contenant des lignes comme celle-ci:

This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
.
.
.
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

Comment puis-je être sûr de l'unicité de chaque ligne?

REMARQUE: le but est de tester le fichier et non de le modifier si des lignes en double sont présentes.

[ "$(wc -l < input)" -eq "$(sort -u input | wc -l)" ] && echo all unique

Solution awk:

awk 'a[$0]++{print "dupes"; exit(1)}' file && echo "no dupes"

Utilisation de sort/ uniq:

sort input.txt | uniq

Pour vérifier uniquement les lignes en double, utilisez l' -doption pour uniq. Cela ne montrera que les lignes qui sont en double, sinon aucune ne montrera rien:

sort input.txt | uniq -d

TLDR

La question initiale n'était pas claire et indiquait que le PO voulait simplement une version unique du contenu d'un fichier. C'est indiqué ci-dessous. Dans la forme mise à jour de la question depuis, le PO déclare maintenant qu'il / elle veut simplement savoir si le contenu du fichier est unique ou non.

Tester si le contenu du fichier est unique ou non

Vous pouvez simplement utiliser sortpour vérifier si un fichier est unique ou contient des doublons comme ceci:

$ sort -uC input.txt && echo "unique" || echo "duplicates"

Exemple

Disons que j'ai ces deux fichiers:

$ cat dup_input.txt
This is a thread  139737522087680
This is a thread  139737513694976
This is a thread  139737505302272
This is a thread  139737312270080
This is a thread  139737203164928
This is a thread  139737194772224
This is a thread  139737186379520

$  cat uniq_input.txt
A
B
C
D

Maintenant, lorsque nous analysons ces fichiers, nous pouvons dire s'ils sont uniques ou contiennent des doublons:

$ sort -uC dup_input.txt && echo "unique" || echo "duplicates"
duplicates

$ sort -uC uniq_input.txt && echo "unique" || echo "duplicates"
unique

Question d'origine (contenu unique du fichier)

Peut être fait avec juste sort:

$ sort -u input.txt
This is a thread  139737186379520
This is a thread  139737194772224
This is a thread  139737203164928
This is a thread  139737312270080
This is a thread  139737505302272
This is a thread  139737513694976
This is a thread  139737522087680

J'utilise généralement sortle fichier, puis j'utilise uniqpour compter le nombre de doublons, puis je sortrevois les doublons en bas de la liste.

J'ai ajouté un double aux exemples que vous avez fournis:

$ sort thread.file | uniq -c | sort
      1 This is a thread  139737186379520
      1 This is a thread  139737194772224
      1 This is a thread  139737203164928
      1 This is a thread  139737312270080
      1 This is a thread  139737513694976
      1 This is a thread  139737522087680
      2 This is a thread  139737505302272

Comme je n'ai pas lu la page de manuel depuis uniqun moment, j'ai jeté un coup d'œil à toutes les alternatives. Ce qui suit élimine le besoin du deuxième tri, si vous voulez juste voir les doublons:

$ sort thread.file | uniq -d
This is a thread  139737505302272

S'il n'y a pas de doublons, toutes les lignes sont uniques:

[ "$(sort file | uniq -d)" ] && echo "some line(s) is(are) repeated"

Description: Triez les lignes du fichier pour rendre les lignes répétées consécutives (tri)
Extrayez toutes les lignes consécutives qui sont égales (uniq -d).
S'il y a une sortie de la commande ci-dessus ( [...]), ( &&) imprime un message.

Cela ne serait pas complet sans une réponse Perl!

$ perl -ne 'print if ++$a{$_} == 2' yourfile

Cela imprimera une fois chaque ligne non unique: donc s'il n'imprime rien, alors le fichier a toutes les lignes uniques.

Utilisation cmpet sortdans bash:

cmp -s <( sort file ) <( sort -u file ) && echo 'All lines are unique'

ou

if cmp -s <( sort file ) <( sort -u file )
then
    echo 'All lines are unique'
else
    echo 'At least one line is duplicated'
fi

Cela trierait cependant le fichier deux fois, tout comme la réponse acceptée.