Unix & Linux duplicate

2

Outil de recherche d'images en double open source pour Linux?

Existe-t-il un chercheur d'images en double gratuit et open source pour les systèmes Linux? Trouver des doublons exacts (en fonction du contenu, pas du nom de fichier) me suffit, mais la possibilité de trouver des images similaires serait également très bien.

16 search image-manipulation images duplicate

10

Supprimer tous les mots en double de la chaîne à l'aide du script shell

J'ai une chaîne comme "aaa,aaa,aaa,bbb,bbb,ccc,bbb,ccc" Je veux supprimer le mot en double de la chaîne, puis la sortie sera comme "aaa,bbb,ccc" J'ai essayé ce code source $ echo "zebra ant spider spider ant zebra ant" | xargs -n1 | sort -u | xargs Il fonctionne très bien avec la même …

12 shell-script shell text-processing xargs duplicate

6

Comment supprimer les fichiers en double à l'aide de bash

J'ai un dossier avec des fichiers en double (par md5sum( md5sur un Mac)) et je veux avoir uncron tâche planifiée pour supprimer tout élément trouvé. Cependant, je suis coincé sur la façon de procéder. Ce que j'ai jusqu'à présent: md5 -r * | sort Qui génère quelque chose comme ceci: …

10 bash shell-script hashsum duplicate

8

Trouver des fichiers PDF en double par contenu

Certaines revues génèrent un PDF différent pour chaque téléchargement. APS, par exemple, stocke l'heure et l'adresse IP dans le PDF. Ou il existe une version papier avec des hyperliens et une avec des références textuelles. Comment est-il possible de trouver des téléchargements en double d'articles avec un contenu égal à …

9 scripting pdf imagemagick duplicate

6

Utilisez basename pour analyser une liste de chemins contenus dans un fichier

J'utilise Mac OSX et j'essaie d'utiliser la ligne de commande pour trouver le nombre de fichiers que j'ai avec le même nom. J'ai essayé d'utiliser la commande suivante: find ~ -type f -name "*" -print | basename | sort | uniq -d > duplicate_files Ça ne marche pas! Quand je …

9 find osx filenames duplicate basename

3

Supprimer les fichiers MP3 en double avec un nom, une taille et un hachage différents

J'ai une énorme bibliothèque de musique (tout mp3), mais une partie de la musique est presque la même mais: Peut-être une ou deux secondes de plus 97% identique à une autre chanson Ou un autre bitrate. Existe-t-il un moyen de trouver ces doublons? Comme mentionné, ils n'ont pas la même …

9 mp3 music duplicate

5

Supprimer les lignes en double d'un fichier contenant un horodatage

Cette question / réponse a de bonnes solutions pour supprimer des lignes identiques dans un fichier, mais ne fonctionnera pas dans mon cas car les lignes en double ont un horodatage. Est-il possible de dire à awk d'ignorer les 26 premiers caractères d'une ligne pour déterminer les doublons? Exemple: [Fri …

8 text-processing awk duplicate deduplication

Questions marquées «duplicate»