Comment puis-je supprimer les doublons dans mon .bash_history, en préservant l'ordre?

J'aime vraiment utiliser control+rpour rechercher de manière récursive mon historique de commandes. J'ai trouvé quelques bonnes options que j'aime utiliser avec:

# ignore duplicate commands, ignore commands starting with a space
export HISTCONTROL=erasedups:ignorespace

# keep the last 5000 entries
export HISTSIZE=5000

# append to the history instead of overwriting (good for multiple connections)
shopt -s histappend

Le seul problème pour moi est que erasedupsseulement les doublons séquentiels ne sont effacés - de sorte qu'avec cette chaîne de commandes:

ls
cd ~
ls

La lscommande sera effectivement enregistrée deux fois. J'ai pensé à exécuter périodiquement w / cron:

cat .bash_history | sort | uniq > temp.txt
mv temp.txt .bash_history

Cela permettrait de supprimer les doublons, mais malheureusement, l'ordre ne serait pas préservé. Si je ne sortcommence pas par le fichier, je ne crois pas que cela uniqpuisse fonctionner correctement.

Comment puis-je supprimer les doublons dans mon .bash_history, en préservant l'ordre?

Crédit supplémentaire:

Existe-t-il des problèmes pour écraser le .bash_historyfichier via un script? Par exemple, si vous supprimez un fichier journal Apache, je pense que vous devez envoyer un signal nohup / reset avec killpour le vider de sa connexion au fichier. Si tel est le cas avec le .bash_historyfichier, je pourrais peut-être utiliser d'une manière ou d'une autre pspour vérifier et s'assurer qu'il n'y a pas de session connectée avant l'exécution du script de filtrage?

Tri de l'histoire

Cette commande fonctionne comme sort|uniq, mais garde les lignes en place

nl|sort -k 2|uniq -f 1|sort -n|cut -f 2

Fondamentalement, chaque ligne est préfixée par son numéro. Ensuite sort|uniq, toutes les lignes sont triées selon leur ordre d'origine (à l'aide du champ numéro de ligne) et le champ numéro de ligne est supprimé des lignes.

Cette solution a le défaut de ne pas définir quel représentant d'une classe de lignes égales le fera dans la sortie et, par conséquent, sa position dans la sortie finale n'est pas définie. Toutefois, si le dernier représentant devait être choisi, vous pouvez sortsaisir une seconde clé:

nl|sort -k2 -k 1,1nr|uniq -f1|sort -n|cut -f2

Gérer .bash_history

Pour relire et réécrire l'historique, vous pouvez utiliser history -aet history -wrespectivement.

Donc, je cherchais exactement la même chose après avoir été ennuyé par les doublons, et je me suis rendu compte que si je modifiais mon ~ / .bash_profile (Mac) avec:

export HISTCONTROL=ignoreboth:erasedups

Il fait exactement ce que vous vouliez, il ne garde que la dernière de toutes les commandes. ignorebothest en fait juste comme faire ignorespace:ignoredupset cela avec erasedupsfait le travail fait.

Au moins sur mon terminal Mac avec bash, ce travail est parfait. Trouvé ici sur askubuntu.com .

Trouvé cette solution à l'état sauvage et testé:

awk '!x[$0]++'

La première fois qu'une valeur spécifique d'une ligne ($ 0) est vue, la valeur de x [$ 0] est zéro.
La valeur de zéro est inversée avec !et devient un.
Une instruction évaluée à un provoque l'action par défaut, à savoir imprimer.

Par conséquent, la première fois qu'un élément spécifique $0est vu, il est imprimé.

A chaque fois (les répétitions) la valeur de x[$0]a été incrémentée,
sa valeur inversée est zéro et une instruction évaluée à zéro ne s'imprime pas.

Pour conserver la dernière valeur répétée, inversez l’historique et utilisez le même awk:

awk '!x[$0]++' ~/.bash_history                 # keep the first value repeated.

tac ~/.bash_history | awk '!x[$0]++' | tac     # keep the last.

Prolonger la réponse de Clayton:

tac $HISTFILE | awk '!x[$0]++' | tac | sponge $HISTFILE

tacinverser le fichier, assurez-vous que vous avez installé moreutilsafin que vous avez spongedisponible, sinon utilisez un fichier temporaire.

Ceux-ci garderaient les dernières lignes dupliquées:

ruby -i -e 'puts readlines.reverse.uniq.reverse' ~/.bash_history
tac ~/.bash_history | awk '!a[$0]++' | tac > t; mv t ~/.bash_history

Ceci est un vieux message, mais un problème perpétuel pour les utilisateurs qui souhaitent avoir plusieurs terminaux ouverts et dont l'historique doit être synchronisé entre les fenêtres, mais non dupliqué.

Ma solution dans .bashrc:

shopt -s histappend
export HISTCONTROL=ignoreboth:erasedups
export PROMPT_COMMAND="history -n; history -w; history -c; history -r"
tac "$HISTFILE" | awk '!x[$0]++' > /tmp/tmpfile  &&
                tac /tmp/tmpfile > "$HISTFILE"
rm /tmp/tmpfile

• L'option histappend ajoute l'historique du tampon à la fin du fichier historique ($ HISTFILE)
• ignoreboth et Erasedups empêche l’enregistrement des entrées en double dans $ HISTFILE
• La commande prompt met à jour le cache de l'historique
  • history -n lit toutes les lignes de $ HISTFILE susceptibles de s’être produites dans un terminal différent depuis le dernier retour chariot
  • history -w écrit le tampon mis à jour dans $ HISTFILE
  • history -c efface le tampon pour éviter toute duplication
  • history -r relit le $ HISTFILE, en ajoutant au tampon maintenant vide
• le script awk stocke la première occurrence de chaque ligne rencontrée. tacl'inverse, puis l'inverse afin qu'il puisse être enregistré avec les commandes les plus récentes encore les plus récentes de l'historique
• rm le fichier / tmp

Chaque fois que vous ouvrez un nouveau shell, l'historique a toutes les dupes effacées, et chaque fois que vous appuyez sur la Entertouche dans une fenêtre shell / terminal différente, il met à jour cet historique à partir du fichier.

Enregistrer uniformément chaque nouvelle commande est délicat. Tout d'abord, vous devez ajouter ~/.profileou similaire:

HISTCONTROL=erasedups
PROMPT_COMMAND='history -w'

Ensuite, vous devez ajouter à ~/.bash_logout:

history -a
history -w