Comment uniq n’est-il pas assez unique pour qu’il existe également uniq --unique?

Voici les commandes sur un fichier aléatoire de pastebin :

wget -qO - http://pastebin.com/0cSPs9LR | wc -l
350
wget -qO - http://pastebin.com/0cSPs9LR | sort -u | wc -l
287
wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq | wc -l
287
wget -qO - http://pastebin.com/0cSPs9LR | sort | uniq -u | wc -l
258

Les pages de manuel ne disent pas clairement ce que fait le -udrapeau. Aucun conseil?

Version courte:

• uniqsans -u, rend chaque ligne de la sortie unique.
• uniq -uimprime seulement chaque ligne unique de l’entrée .

Version légèrement plus longue:

uniqest destiné à traiter des fichiers dont les lignes sont dupliquées et uniquement lorsque ces lignes apparaissent successivement dans l'entrée. Ainsi, pour ses besoins, une ligne unique est une ligne qui n'est pas dupliquée immédiatement.

( uniqa une mémoire à court terme très limitée; il ne se souviendra jamais si une ligne est apparue plus tôt dans l'entrée, à moins que ce soit la ligne immédiatement précédente - c'est pourquoi il uniqest très souvent associé à sort.)

Lorsqu'il rencontre une série de lignes en double uniq, sans l' -uargument, en imprime une copie. (Chaque ligne de la sortie est unique ).

Avec l' -uargument, il n'imprime aucune copie de cette ligne. Les doublons sont simplement omis de la sortie.

uniqavec -upasse toutes les lignes qui ont des doublons. Ainsi:

$ printf "%s\n" 1 1 2 3 | uniq
1
2
3
$ printf "%s\n" 1 1 2 3 | uniq -u
2
3

Habituellement, uniqimprime les lignes au plus une fois (en supposant que l’entrée soit triée). Cette option permet d’imprimer des lignes véritablement uniques (qui ne sont plus apparues).

Uniq POSIX spec l'a décrit clairement:

-u
    Suppress the writing of lines that are repeated in the input.

-uoption make uniqpour ne pas imprimer les lignes répétées.

La plupart des uniqimplémentations utilisaient la comparaison d'octets, tandis que GNU uniqutilisait l'ordre de tri pour filtrer les lignes dupliquées. Donc, cela peut produire un résultat erroné dans certaines locales, exemple dans en_US.UTF-8locale:

$ printf '%b\n' '\U2460' '\U2461' | uniq
①

et -une vous a pas donné de lignes:

$ printf '%b\n' '\U2460' '\U2461' | uniq -u
<blank>

Vous devez donc définir les paramètres régionaux sur Cpour obtenir la comparaison d'octets:

$ printf '%b\n' '\U2460' '\U2461' | LC_ALL=C uniq
①
②

Ordinaire:

echo "a b a b c c c" | tr ' ' '\n'
a
b
a
b
c
c
c

uniq: pas deux lignes répétées

echo "a b a b c c c" | tr ' ' '\n' | uniq
a
b
a
b
c

triés

echo "a b a b c c c" | tr ' ' '\n' | sort
a
a
b
b
c
c
c

sort -u: pas deux lignes répétitives

echo "a b a b c c c" | tr ' ' '\n' | sort -u
a
b
c

sort / uniq: tous distincts

echo "a b a b c c c" | tr ' ' '\n' | sort | uniq
a
b
c

compte des occurrences distinctes

echo "a b a b c c c" | tr ' ' '\n' | sort | uniq -c
2 a
2 b
3 c

seulement les lignes qui ne sont pas répétées (non triées en premier)

echo "a b a b c c c" | tr ' ' '\n' | uniq -u
a
b
a
b

seulement les lignes qui ne sont pas répétées (après le tri)

echo "a b a b c c c Z" | tr ' ' '\n' | sort | uniq -u
Z

uniq -d: imprime uniquement les lignes en double, une pour chaque groupe

echo "a b a b c c c" | tr ' ' '\n' | uniq -d
c

.. compté

echo "a b a b c c c" | tr ' ' '\n' | uniq -dc
3 c