Supprimer tous les mots en double de la chaîne à l'aide du script shell

J'ai une chaîne comme

"aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc"

Je veux supprimer le mot en double de la chaîne, puis la sortie sera comme

"aaa,bbb,ccc"

J'ai essayé ce code source

$ echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs

Il fonctionne très bien avec la même valeur, mais lorsque je donne ma valeur de variable, il affiche également tous les mots en double.

Comment puis-je supprimer la valeur en double.

METTRE À JOUR

Ma question est d'ajouter toutes les valeurs correspondantes dans une seule chaîne si l'utilisateur est le même. J'ai des données comme celle-ci ->

   user name    | colour
    AAA         | red
    AAA         | black
    BBB         | red
    BBB         | blue
    AAA         | blue
    AAA         | red
    CCC         | red
    CCC         | red
    AAA         | green
    AAA         | red
    AAA         | black
    BBB         | red
    BBB         | blue
    AAA         | blue
    AAA         | red
    CCC         | red
    CCC         | red
    AAA         | green

Dans le codage, je récupère tous les utilisateurs distincts, puis je concatène la chaîne de couleur avec succès. Pour que j'utilise du code -

while read the records 

    if [ "$c" == "" ]; then  #$c I defined global
        c="$colour1"
    else
        c="$c,$colour1" 
    fi

Lorsque j'imprime cette variable $ c, j'obtiens la sortie (pour l'utilisateur AAA)

"red,black,blue,red,green,red,black,blue,red,green,"

Je veux supprimer la couleur en double. La sortie souhaitée devrait alors être comme

"red,black,blue,green"

Pour cette sortie souhaitée, j'ai utilisé le code ci-dessus

 echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs

mais il affiche la sortie avec des valeurs en double.

"rouge, noir, bleu, rouge, vert, rouge, noir, bleu, rouge, vert", merci

Encore un awk, juste pour le plaisir:

$ a="aaa bbb aaa bbb ccc aaa ddd bbb ccc"
$ echo "$a" | awk '{for (i=1;i<=NF;i++) if (!a[$i]++) printf("%s%s",$i,FS)}{printf("\n")}'
aaa bbb ccc ddd 

Soit dit en passant, même votre solution fonctionne bien avec des variables:

$ b="zebra ant spider spider ant zebra ant" 
$ echo "$b" | xargs -n1 | sort -u | xargs
ant spider zebra

Avec tr, sortetuniq

echo "zebra ant spider spider ant zebra ant" | tr ' ' '\n' | sort | uniq

ou

echo "zebra ant spider spider ant zebra ant" | tr ' ' '\n' | sort | uniq | xargs 

pour obtenir une ligne

$ echo "zebra ant spider spider ant zebra ant"  | awk -v RS="[ \n]+" '!n[$0]++' 
zebra
ant
spider

Avec gnu sed:

sed ':s;s/\(\<\S*\>\)\(.*\)\<\1\>/\1\2/g;ts'

Vous pouvez ajouter ;s/ */ /gpour supprimer les espaces en double.

Fonctions comme ceci: Si un mot est une deuxième fois dans cette ligne, supprimez-le et recommencez jusqu'à ce qu'aucune duplication ne soit trouvée.

perl -lane '$,=$";print grep { ! $h{$_}++ } @F'

Solution awk obligatoire:

$ echo "ant zebra ant spider spider ant zebra ant" | 
   awk -vRS=" " -vORS=" " '!a[$1] {a[$1]++} END{ for (x in a) print x;  } ' ; echo
zebra ant spider 

(La finale echoest là pour la nouvelle ligne)

Python

Option 1

#!/usr/bin/env python
# get_unique_words.py

import sys

l = []
for w in sys.argv[1].split(','):
  if w not in l:
    l += [ w ]
print ','.join(l)

Rendez exécutable, puis appelez depuis Bash:

$ ./get_unique_words.py "aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc"
aaa,bbb,ccc

Ou vous pouvez l'implémenter en tant que fonction Bash, mais la syntaxe est désordonnée.

get_unique_words(){
  python -c "
l = []
for w in '$1'.split(','):
  if w not in l:
    l += [ w ]
print ','.join(l)"
}

Option 2

Cette option peut devenir monoligne si nécessaire:

#!/usr/bin/env python
# get_unique_words.py

import sys

s_in = sys.argv[1]
l_in = s_in.split(',') # Turn string into a list.
set_out = set(l_in) # Turning a list into a set removes duplicates items.
s_out = ','.join(set_out) 
print s_out

Dans Bash:

get_unique_words(){
  python -c "print ','.join(set('$1'.split(',')))"
}

cat filename | awk '{ delete a; for (i=1; i<=NF; i++) a[$i]++; n=asorti(a, b); for (i=1; i<=n; i++) printf b[i]" "; print "" }' > newfile

Utilisation des données tabulaires d'origine dans le fichier appelé file:

sed '1d' file | sort -u |
awk '{ color[$1] = ( color[$1] == "" ? $3 : color[$1] "," $3 ) }
     END { for (user in color) print user, color[user] }'

Cela génère

CCC red
BBB blue,red
AAA black,blue,green,red

Les trois étapes du pipeline:

1. La sedcommande supprime la première ligne qui est un en-tête que nous ne voulons pas lire.

2. La sortcommande nous donne des lignes uniques. Les échantillons de données après les sortregards comme

   AAA         | black
   AAA         | blue
   AAA         | green
   AAA         | red
   BBB         | blue
   BBB         | red
   CCC         | red

3. La awkcommande prend ces données et produit une chaîne délimitée par des virgules pour chaque utilisateur du tableau color(où le nom d'utilisateur est la clé du tableau). À la fin (dans le ENDbloc), toutes les données collectées sont sorties.

a="aaa aaa aaa bbb bbb ccc bbb ccc"
for item in $a
do
   echo $item
done | sort -u | (while read i; do ans="$ans $i"; done ; echo $ans)