Je cherche un moyen simple (une commande ou une série de commandes, impliquant probablement find) de trouver des fichiers en double dans deux répertoires et de remplacer les fichiers d'un répertoire par des liens physiques les uns des autres.

Voici la situation: Il s'agit d'un serveur de fichiers sur lequel plusieurs personnes stockent des fichiers audio, chaque utilisateur ayant son propre dossier. Parfois, plusieurs personnes ont des copies des mêmes fichiers audio. En ce moment, ce sont des doublons. Je voudrais faire en sorte qu'ils soient des liens durs, pour économiser de l'espace disque.

Il y a un script Perl à http://cpansearch.perl.org/src/ANDK/Perl-Repository-APC-2.002/eg/trimtrees.pl qui fait exactement ce que vous voulez:

Parcourez tous les répertoires nommés sur la ligne de commande, calculez les sommes de contrôle MD5 et recherchez les fichiers avec un MD5 identique. S'ils sont égaux, faites une comparaison réelle s'ils sont vraiment égaux, remplacez le deuxième des deux fichiers par un lien réel vers le premier.

rdfindfait exactement ce que vous demandez (et dans l'ordre, pourquoi les listes). Permet de supprimer les doublons, de les remplacer par des liens souples ou physiques. Combiné avec symlinksvous, le lien symbolique peut aussi être absolu ou relatif. Vous pouvez même choisir un algorithme de somme de contrôle (md5 ou sha1).

Depuis qu'il est compilé, il est plus rapide que la plupart des solutions de script: timesur un dossier de 15 Go avec 2600 fichiers sur mon Mac Mini à partir de 2009, retourne cette

9.99s user 3.61s system 66% cpu 20.543 total

(en utilisant md5).

Disponible dans la plupart des gestionnaires de paquets (par exemple, MacPorts pour Mac OS X).

Utilisez l' fdupesoutil:

fdupes -r /path/to/foldervous donne une liste des doublons dans le répertoire (-r le rend récursif). La sortie ressemble à ceci:

nomfichier1
nomfichier2

nomfichier3
nomfichier4
nomfichier5

avec filename1 et filename2 identiques, et filename3, filename4 et filename5 étant identiques.

J'utilise hardlinkdepuis http://jak-linux.org/projects/hardlink/

C’est l’une des fonctions fournies par "fslint" - http://fr.flossmanuals.net/FSlint/Introduction

Cliquez sur le bouton "Fusionner":

Puisque votre objectif principal est d'économiser de l'espace disque, il existe une autre solution: la déduplication (et probablement la compression) au niveau du système de fichiers. Par rapport à la solution à liaison fixe, le problème n’est pas d’affecter par inadvertance d’autres fichiers liés.

ZFS a déduplication (au niveau du bloc, pas au niveau du fichier) depuis la version 23 du pool et la compression depuis longtemps. Si vous utilisez linux, vous pouvez essayer zfs-fuse , ou si vous utilisez BSD, il est supporté de manière native.

De nos jours, sur Linux moderne, il existe https://github.com/g2p/bedup qui déduplique sur un système de fichiers btrfs, mais 1) sans autant de temps de numérisation, 2) les fichiers peuvent diverger facilement par la suite.

Pour trouver les fichiers en double, vous pouvez utiliser duff .

Duff est un utilitaire de ligne de commande Unix permettant de rechercher rapidement des doublons dans un ensemble de fichiers donné.

Il suffit de lancer:

duff -r target-folder

Pour créer automatiquement des liens durs vers ces fichiers, vous devez analyser la sortie de duff avec bash ou un autre langage de script.

aptitude show hardlink

Description: Liens physiques multiples copies du même fichier Hardlink est un outil qui détecte plusieurs copies du même fichier et les remplace par des liens physiques.

L'idée a été empruntée à http://code.google.com/p/hardlinkpy/ , mais le code a été écrit à partir de rien et est sous licence MIT. Page d'accueil: http://jak-linux.org/projects/hardlink/

J'ai utilisé de nombreux outils de création de liens durs pour Linux mentionnés ici. Moi aussi, je suis coincé avec ext4 fs, sur Ubuntu, et j'utilise ses cp -l et -s pour hard / softlinking. Mais récemment, nous avons remarqué une copie allégée dans la page de manuel de cp , ce qui impliquerait d’épargner l’espace disque redondant jusqu’à ce que l’ un des côtés soit modifié:

   --reflink[=WHEN]
          control clone/CoW copies. See below

       When  --reflink[=always]  is specified, perform a lightweight copy, where the 
data blocks are copied only when modified.  If this is not possible the
       copy fails, or if --reflink=auto is specified, fall back to a standard copy.

Il me semble que vérifier le nom du fichier en premier pourrait accélérer les choses. Si deux fichiers n'ont pas le même nom de fichier, dans de nombreux cas, je ne les considérerais pas comme des doublons. Il semble que la méthode la plus rapide serait de comparer, dans l'ordre:

• nom de fichier
• Taille
• somme de contrôle md5
• contenu de l'octet

Est-ce que des méthodes font cela? Regardez duff, fdupes, rmlint, fslint, etc.

La méthode suivante a été la plus votée sur commandlinefu.com : Rechercher les fichiers en double (en fonction de la taille en premier, puis du hachage MD5)

La comparaison de nom de fichier peut-elle être ajoutée dans un premier temps, la taille dans un deuxième temps?

find -not -empty -type f -printf "%s\n" | sort -rn | uniq -d | \
  xargs -I{} -n1 find -type f -size {}c -print0 | xargs -0 md5sum | \
  sort | uniq -w32 --all-repeated=separate

Puisque je ne suis pas un fan de Perl, voici une version bash:

#!/bin/bash

DIR="/path/to/big/files"

find $DIR -type f -exec md5sum {} \; | sort > /tmp/sums-sorted.txt

OLDSUM=""
IFS=$'\n'
for i in `cat /tmp/sums-sorted.txt`; do
 NEWSUM=`echo "$i" | sed 's/ .*//'`
 NEWFILE=`echo "$i" | sed 's/^[^ ]* *//'`
 if [ "$OLDSUM" == "$NEWSUM" ]; then
  echo ln -f "$OLDFILE" "$NEWFILE"
 else
  OLDSUM="$NEWSUM"
  OLDFILE="$NEWFILE"
 fi
done

Cela trouve tous les fichiers avec la même somme de contrôle (qu’ils soient gros, petits ou déjà en liens durs) et les lie ensemble.

Cela peut être grandement optimisé pour les exécutions répétées avec des indicateurs de recherche supplémentaires (par exemple, la taille) et un cache de fichiers (vous n'avez donc pas à refaire les sommes de contrôle à chaque fois). Si quelqu'un est intéressé par la version plus intelligente et plus longue, je peux la poster.

REMARQUE: Comme cela a été mentionné précédemment, les liens physiques fonctionnent tant que les fichiers n'ont jamais besoin d'être modifiés ou déplacés d'un système de fichiers à un autre.

J'ai créé un script Perl qui fait quelque chose de similaire à ce dont vous parlez:

http://pastebin.com/U7mFHZU7

Fondamentalement, il parcourt simplement un répertoire, en calculant la somme SHA1 des fichiers qu'il contient, en le hachant et en reliant les correspondances entre elles. Cela a été utile à maintes reprises.

Si vous voulez remplacer les doublons par des liens en dur sur Mac ou tout système UNIX, vous pouvez essayer SmartDupe http://sourceforge.net/projects/smartdupe/ suis développer

Les applications FSLint ( http://www.pixelbeat.org/fslint/ ) peuvent trouver tous les fichiers équivalents dans n’importe quel dossier (par contenu) et créer des liens physiques. Essaie!

Jorge Sampaio

jdupes a été mentionné dans un commentaire mais mérite sa propre réponse, car il est probablement disponible dans la plupart des distributions et tourne assez vite (il vient de libérer 2,7 Go d'une partition de 158% à 158% (lecteur SSD) en une minute environ):

jdupes -rL /foo/bar

Si vous faites des liens en dur, faites attention aux droits sur ce fichier. Avis, propriétaire, groupe, mode, attributs étendus, heure et ACL (si vous l'utilisez) est stocké dans INODE. Seuls les noms de fichiers sont différents car ils sont stockés dans une structure de répertoires et que d'autres pointent vers les propriétés INODE. Cette cause, tous les noms de fichiers liés au même inode ont les mêmes droits d'accès. Vous devez empêcher la modification de ce fichier, car tout utilisateur peut endommager le fichier. C'est simple. Il suffit que n'importe quel utilisateur mette un autre fichier sous le même nom. Le numéro d'inode est ensuite enregistré et le contenu du fichier d'origine est détruit (remplacé) pour tous les noms liés de manière permanente.

La meilleure façon est la déduplication sur la couche du système de fichiers. Vous pouvez utiliser BTRFS (très populaire la dernière fois), OCFS ou similaire. Regardez la page: https://en.wikipedia.org/wiki/Comparison_of_file_systems , plus particulièrement à la table Caractéristiques et déduplication des données de colonne. Vous pouvez cliquer dessus et trier :)

Regardez spécialement le système de fichiers ZFS. Ceci est disponible en tant que FUSE, mais de cette façon, il est très lent. Si vous souhaitez un support natif, consultez la page http://zfsonlinux.org/ . Ensuite, vous devez patcher le noyau, puis installer les outils zfs pour la gestion. Je ne comprends pas pourquoi Linux ne supporte pas les pilotes, mais bien d'autres systèmes d'exploitation / noyaux.

Les systèmes de fichiers prennent en charge la déduplication de deux manières, les fichiers dédoublonnés ou les blocs. ZFS prend en charge le blocage. Cela signifie que le même contenu qui se répète dans le même fichier peut être dédupliqué. Autrement, l'heure à laquelle les données sont dédupliquées peut être en ligne (zfs) ou hors ligne (btrfs).

Notez que la déduplication consomme de la RAM. C’est pourquoi l’écriture de fichiers sur un volume ZFS monté avec FUSE nuit considérablement aux performances. Ceci est décrit dans la documentation. Mais vous pouvez définir en ligne la déduplication activée / désactivée sur le volume. Si vous estimez que des données doivent être dédupliquées, vous devez simplement activer la déduplication, réécrire certains fichiers sur un fichier temporaire et enfin les remplacer. après cela, vous pouvez désactiver la déduplication et restaurer des performances optimales. Bien sûr, vous pouvez ajouter au stockage n’importe quel disque en cache. Cela peut être une rotation très rapide des disques ou des disques SSD. Bien sûr, cela peut être de très petits disques. En vrai travail, ceci remplace la RAM :)

Sous Linux, vous devez prendre soin de ZFS car tout ne fonctionne pas comme il se doit, spécialement lorsque vous gérez un système de fichiers, créez un instantané, etc., mais si vous effectuez une configuration sans le modifier, tout fonctionne correctement. Autrement, vous devriez changer linux en opensolaris, il supporte nativement ZFS :) Ce qui est bien avec ZFS, c’est que ça fonctionne à la fois en tant que système de fichiers et en tant que gestionnaire de volumen similaire à LVM. Vous n'en avez pas besoin lorsque vous utilisez ZFS. Voir la documentation si vous voulez en savoir plus.

Remarquez la différence entre ZFS et BTRFS. ZFS est plus ancien et plus mature, malheureusement uniquement sous Solaris et OpenSolaris (malheureusement étranglé par Oracle). BTRFS est plus jeune, mais la dernière fois, très bien pris en charge. Je recommande le noyau frais. ZFS a une déduplication en ligne, qui ralentit les écritures, car tout est calculé en ligne. BTRFS prend en charge la déduplication hors ligne. Cela économise ensuite les performances, mais lorsque l’hôte n’a plus rien à faire, vous exécutez régulièrement un outil pour effectuer la déduplication. Et BTRFS est créé nativement sous Linux. Peut-être que c'est mieux FS pour vous :)

Les liens physiques ne sont peut-être pas la meilleure idée. si un utilisateur modifie le fichier, cela affecte les deux. Cependant, la suppression d'un lien physique ne supprime pas les deux fichiers. De plus, je ne suis pas tout à fait sûr que les liens physiques prennent la même quantité d’espace (sur le disque dur, pas le système d’exploitation) que plusieurs copies du même fichier; selon Windows (avec l'extension Link Shell), ils le font. Certes, c'est Windows, pas Unix ...

Ma solution serait de créer un fichier "commun" dans un dossier caché et de remplacer les doublons actuels par des liens symboliques ... les liens symboliques seraient alors incorporés à des métadonnées ou à des flux de fichiers alternatifs qui n'enregistrent que les deux "fichiers". sont différentes les unes des autres, comme si une personne voulait changer le nom de fichier ou ajouter une pochette d'album personnalisée ou quelque chose comme ça; cela peut même être utile en dehors des applications de base de données, comme avoir plusieurs versions du même jeu ou logiciel installé et les tester indépendamment avec les plus petites différences.

Le moyen le plus simple est d'utiliser le programme spécial dupeGuru

comme dit la documentation

Options de suppression

Ces options affectent le déroulement de la suppression des doublons. La plupart du temps, vous n'avez pas besoin de les activer.

Lier les fichiers supprimés:

Les fichiers supprimés sont remplacés par un lien vers le fichier de référence. Vous avez le choix de le remplacer par un lien symbolique ou un lien dur. ... un lien symbolique est un raccourci vers le chemin du fichier. Si le fichier d'origine est supprimé ou déplacé, le lien est brisé. Un lien dur est un lien vers le fichier lui-même. Ce lien est aussi bon qu'un "vrai" fichier. Le fichier lui-même n'est supprimé que lorsque tous les liens physiques vers un fichier sont supprimés.

Sous OSX et Linux, cette fonctionnalité est entièrement prise en charge, mais sous Windows, c'est un peu compliqué. Windows XP ne le prend pas en charge, mais Vista et les versions ultérieures le prennent en charge. Toutefois, pour que la fonctionnalité fonctionne, dupeGuru doit s’exécuter avec des privilèges d’administrateur.