Comment identifier les fichiers image en double?

Au fil des ans, j'ai accumulé beaucoup d'images, à travers un tas de machines différentes.

Je pense que je les ai principalement conservés dans une structure de répertoires aaaa / mm /, mais surtout avec certaines des anciennes images, il semble y avoir beaucoup de doublons.

Quelle est la meilleure façon d'identifier les doublons? Y a-t-il de bons outils pour le faire, ou vais-je devoir écrire quelque chose par moi-même?

Un certain nombre de programmes peuvent trouver des doublons en fonction du contenu de l'image. Certaines applications de gestion d'actifs le feront et il existe également des programmes dédiés. Si vous détectez des images en double sur Google, vous verrez plusieurs options. Découvrez ceux qui sont disponibles pour votre plateforme.

Une autre solution consiste à simplement importer les fichiers avec l'option "Ignorer les doublons". Picasa, qui est gratuit, peut le faire.

Pour Linux, essayez FSlint . C'est un peu lent, mais il trouvera certainement des doublons.

dupeGuru Picture Edition est un outil de recherche d'images en double personnalisable pour Windows, Mac OS X et Linux.

Il y a quelques versions de dupeGuru (éditions standard, musique et image), et l'édition d'image vous permet de trouver des images visuellement similaires via un algorithme de comparaison de blocage de bitmap, entre autres méthodes (comme l'horodatage de l'image originale EXIF, ou les fichiers étant simplement identiques) .

Il a une variété d'autres fonctionnalités utiles comme les dossiers exclus, la prise en charge des bibliothèques iPhoto / Aperture et une personnalisation considérable de la façon dont il détecte les doublons et de ce qu'il en fait.

Picasa possède un outil de recherche de fichiers en double, mais il est difficile de dire ce que vous regardez: exécutez Picasa; cliquez sur Tools> Experimental> Show Duplicate Files. Cela fonctionne, mais faites attention à ce que vous supprimez.

Une autre option est le "Fast Duplicate File Finder" gratuit :

Recherche rapide de fichiers en double

Ce que j'ai aimé, c'est qu'il vous permet de prévisualiser l'image avant de décider que vous n'avez pas besoin du duplicata.

Cela fonctionne bien tant que les fichiers sont identiques , mais si vous recherchez des photos similaires (par exemple, la même photo mais redimensionnée, pivotée ou manipulée), vous voudrez peut-être examiner leur version mise à niveau:

Recherche d'images en double de similitude visuelle

Je n'ai pas utilisé ce programme mais j'ai utilisé un programme très similaire (qui n'est plus fabriqué) et je l'ai trouvé très utile. Ils ont un téléchargement gratuit, il vaut peut-être la peine de vérifier.

digikam (linux, windows et mac) a une barre latérale intitulée versions

L'onglet Versions affiche l'historique et les versions enregistrées d'une photographie. Avec les trois boutons dans le coin supérieur droit, vous pouvez choisir entre une simple liste des versions enregistrées, une arborescence et une liste combinée qui montre les versions ainsi que les actions effectuées avec la photo sélectionnée.

et une autre recherche intitulée

La recherche rapide est la zone de recherche adaptative en haut de la boîte de dialogue de recherche (barre latérale gauche) et vous offre un moyen simple de rechercher dans la base de données digiKam avec une seule requête. Vous pouvez saisir n'importe quel argument dans le champ de texte Rechercher: il sera utilisé pour déterminer les résultats. Par exemple, vous pouvez entrer la chaîne 'anniversaire' pour rechercher dans la base de données complète les occurrences du mot 'anniversaire' dans tous les champs de texte de métadonnées, ou '05 .png 'pour rechercher un nom de fichier image spécifique '05 .png' ( aucun échappement comme dans les expressions régulières nécessaires).

(Il a également un paramètre avancé permettant plusieurs recherches booléennes)

et un autre intitulé flou

digiKam caractérise chaque image par un nombre long en utilisant une technique spéciale (algorithme Haar) qui permet de comparer les images en comparant cette signature calculée. Moins il y a de différence numérique entre deux signatures d'images, plus elles se ressemblent. Cette technique a trois implémentations dans digiKam: ...

1. Doublons
2. Image (Articles similaires)
3. Esquisser

Bien que la génération des «signatures» et leur recoupement sur un grand nombre d'images puissent être un processus lent. Sachez également que certaines personnes ne sont pas fans, car il s'agit d'un projet KDE qui ne s'intègre pas totalement avec d'autres environnements de bureau et il essaie d'être une application tout-en-un avec téléchargement d'images, catalogue / mots-clés, développement RAW, manipulation d'images, etc. inclus.

Similar.pictures est un programme en ligne pour trouver des doublons proches et exacts.

Je l'ai écrit parce que Picasa cherchait plutôt des copies exactes . Et maintenant, Picasa est parti.

Mes deux centimes. J'ai utilisé:

Pixiple github.com/saolaolsson/pixiple

VisiPics visipics.info

Et Awesome Duplicate Photo Finder duplicate-finder.com

Une chose à considérer est le «flou» de la recherche. Parfois, le programme trouve des photos similaires, par exemple, des variations de la même séance photo. N'ayez pas un déclencheur heureux lors de la suppression de vos images.

Veuillez sauvegarder vos images avant de supprimer quoi que ce soit.

Acdsee est une application de navigation photo simple / populaire qui dispose de cette fonctionnalité (Outils -> Rechercher des doublons).

Sur mon Mac, j'ai eu un excellent succès avec PhotoSweeper ( http://overmacs.com/ ). Il peut fonctionner directement via le système de fichiers ou via des logiciels de photographie populaires tels que Apple Photos et Adobe Lightroom. Il est capable de trouver des doublons exacts ou des fichiers d'images similaires. Et à 10 $, c'est un vol.

DeDup-Image est un script bash pour rechercher et supprimer automatiquement des images identiques / des photos en double, même si les métadonnées diffèrent. Il conserve toujours la plus grande copie, qui contient probablement le plus de métadonnées et supprime tous les autres objets trouvés basés sur le SHA256-HASH des informations de l'image réelle sans aucune métadonnée. Étant donné que le script doit traiter une variante de chaque image sans métadonnées, il est un peu plus lent et gourmand en processeur que les programmes ou scripts qui ne peuvent rechercher que des fichiers complètement identiques.