Unix & Linux uniq

5

Quelle est la difference entre “sort -u” et “sort | uniq ”?

Partout où je vois quelqu'un qui a besoin d'une liste unique et triée, il le fait toujours sort | uniq. Je n'ai jamais vu d'exemples où quelqu'un utilise à la sort -uplace. Pourquoi pas? Quelle est la différence et pourquoi est-il préférable d'utiliser uniq plutôt que le drapeau unique pour …

120 bash sort uniq

7

Comment puis-je supprimer les doublons dans mon .bash_history, en préservant l'ordre?

J'aime vraiment utiliser control+rpour rechercher de manière récursive mon historique de commandes. J'ai trouvé quelques bonnes options que j'aime utiliser avec: # ignore duplicate commands, ignore commands starting with a space export HISTCONTROL=erasedups:ignorespace # keep the last 5000 entries export HISTSIZE=5000 # append to the history instead of overwriting (good …

61 bash command-line command-history sort uniq

4

Comment obtenir uniquement les résultats uniques sans avoir à trier les données?

$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ Le résultat dont j'ai besoin est d' afficher toutes les lignes du fichier d'origine en supprimant tous les doublons (pas uniquement …

40 text-processing uniq

2

Comment fonctionne awk '! A [$ 0] ++'?

Cette ligne supprime les lignes en double de la saisie de texte sans tri préalable. Par exemple: $ cat >f q w e w r $ awk '!a[$0]++' <f q w e r $ Le code original que j'ai trouvé sur les internets se lit comme suit: awk '!_[$0]++' Cela …

40 shell-script awk scripting sort uniq

4

Comment uniq n’est-il pas assez unique pour qu’il existe également uniq --unique?

35 uniq

6

recherche insensible à la casse des noms de fichiers en double

Existe-t-il un moyen de trouver tous les fichiers dans un répertoire avec des noms de fichiers en double, indépendamment de la casse (majuscules et / ou minuscules)?

17 find uniq case-sensitivity duplicate-files

12

Supprimer les lignes en double par paire?

J'ai rencontré ce cas d'utilisation aujourd'hui. Il semble simple au premier coup d' œil, mais bidouiller avec sort, uniq, sedet a awkrévélé qu'il est non négligeable. Comment supprimer toutes les paires de lignes en double? En d'autres termes, s'il existe un nombre pair de doublons d'une ligne donnée, supprimez-les tous; …

16 text-processing sed uniq

1

Comment supprimer les lignes en double dans un grand fichier texte de plusieurs Go?

Ma question est similaire à cette question mais avec quelques contraintes différentes: J'ai une grande liste de \nmots délimitée - un mot par ligne. La taille des fichiers varie de 2 Go à 10 Go. J'ai besoin de supprimer toutes les lignes en double. Le processus peut trier la liste …

16 linux text-processing uniq

2

Qu'a fait `uniq -t`?

J'ai un vieux code de 2003 qui utilise l' -toption de uniqcommande. Il génère une erreur car cette option n'est probablement plus prise en charge. Voici la pièce qui utilise la commande: egrep -n "{ IA32_OP" ia32-decode.c | \ awk '{ print $1 $3 $4 }' | \ sort -t …

15 uniq

4

somme des colonnes en fonction des champs correspondants

J'ai un gros fichier au format suivant: 2 1019 0 12 2 1019 3 0 2 1021 0 2 2 1021 2 0 2 1022 4 5 2 1030 0 1 2 1030 5 0 2 1031 4 4 Si les valeurs de la colonne 2 correspondent, je veux additionner …

11 text-processing awk sort uniq

5

Supprimez les lignes en double adjacentes tout en conservant la commande

J'ai un fichier avec une colonne avec des noms qui se répètent plusieurs fois. Je veux condenser chaque répétition en une seule, tout en conservant toutes les autres répétitions du même nom qui ne sont pas adjacentes à d'autres répétitions du même nom. Par exemple, je veux tourner le côté …

11 awk sed sort uniq

2

Où est passée ma ligne `uniq` ou` sort -u`, avec quelques caractères unicode

Que se passe-t-il dans l'extrait de code suivant? Je n'obtiens pas la sortie attendue. Je pense que c'était un bug, mais cela arrive pour 2 programmes différents (uniq et sort), donc je soupçonne que c'est quelque chose à voir avec ... eh bien, je ne sais pas quoi ... d'où …

10 text-processing sort locale unicode uniq

5

Fusionner / trier efficacement / un grand nombre unique de fichiers texte

J'essaie un naïf: $ cat * | sort -u > /tmp/bla.txt qui échoue avec: -bash: /bin/cat: Argument list too long Donc, pour éviter une solution idiote comme (crée un énorme fichier temporaire): $ find . -type f -exec cat {} >> /tmp/unsorted.txt \; $ cat /tmp/unsorted.txt | sort -u > …

8 shell sort uniq

5

Comment créer un tableau d'éléments uniques à partir d'une chaîne / tableau dans bash?

Si j'ai une chaîne "1 2 3 2 1" - ou un tableau [1,2,3,2,1] - comment puis-je sélectionner les valeurs uniques, c'est-à-dire "1 2 3 2 1" produces "1 2 3" ou [1,2,3,2,1] produces [1,2,3] Similaire à uniq mais uniq semble fonctionner sur des lignes entières, pas sur des motifs …

8 string array uniq patterns

3

L'outil `uniq` le plus rapide de linux

J'ai un gros fichier texte (1,5 G), Je veux savoir quel est l'outil le plus rapide et le plus fiable de Linux. J'utilise habituellement: awk '!x[$0]++' file.txt Mais lorsque j'utilise la htopcommande, je constate que mon utilisation de la mémoire augmente. Je veux savoir quel est le plus rapide et …

8 sed awk memory sort uniq

Questions marquées «uniq»