Utilisez basename pour analyser une liste de chemins contenus dans un fichier

J'utilise Mac OSX et j'essaie d'utiliser la ligne de commande pour trouver le nombre de fichiers que j'ai avec le même nom.

J'ai essayé d'utiliser la commande suivante:

find ~ -type f -name "*" -print | basename | sort | uniq -d > duplicate_files

Ça ne marche pas! Quand je fais ce qui suit:

find ~ -type f -name "*" -print > duplicate_files

Ensuite, duplicate_files contient les chemins de tous mes fichiers. Je pense donc que le problème est avec basename- il n'accepte pas l'entrée standard. J'ai ensuite essayé ce qui suit:

basename $(find ~ -type f -name "*" -print) > duplicate_files

mais encore une fois cela ne semble pas fonctionner. La recherche sur Internet ne semble pas apporter beaucoup de joie. Toutes les pensées les bienvenues.

basename fonctionne sur son argument de ligne de commande, il ne lit pas depuis l'entrée standard.

Vous n'avez pas besoin d'appeler l' basenameutilitaire, et vous feriez mieux de ne pas le faire: tout ce qu'il ferait serait de retirer la partie avant la dernière /, et il serait lent d'appeler une commande externe pour chaque entrée, vous pouvez utiliser un traitement de texte utilitaire à la place.

find ~ -type f | sed 's!.*/!!' | sort | uniq -d

Il peut être plus utile de garder une trace de l'emplacement des fichiers. Le tri par nom facilite la recherche des doublons, mais sortn'a pas la possibilité d'utiliser le dernier champ. Ce que vous pouvez faire est de copier le dernier /champ séparé au début, puis de trier, puis d'utiliser un peu de traitement awk ad hoc pour extraire et présenter les doublons.

find ~ -type f |
sed 's!.*/\(.*\)!\1/&!' |   # copy the last field to the beginning
sort -t/ -k1,1 |
cut -d/ -f2- |   # remove the extra first field (could be combined with awk below)
awk -F / '{
    if ($NF == name) {
        if (previous != "") {print previous; previous = ""}
        print
    } else {
        previous = $0
        name = $NF
    }
'

(Notez que je suppose qu'aucun de vos noms de fichiers ne contient de caractères de nouvelle ligne.)

Pourquoi ne pas utiliser les fonctionnalités findintégrées pour afficher uniquement le nom de fichier:

find ~ -type f -printf '%f\n' | sort | uniq -c

(suppose GNU find) ou au moins quelque chose comme ça:

find ~ -exec basename {} \; | sort | uniq -c

basename impossible de lire via un canal ou de traiter plusieurs fichiers à la fois.

ps. Il n'est pas nécessaire de spécifier -name '*'si vous souhaitez répertorier tous les fichiers. Il s'agit d'une option par défaut.

Cela semble fonctionner pour moi sur OSX:

find ~ -type f -exec basename -a {} + | sort | uniq -d

Alternatives (suppose qu'il n'y a pas de nouvelle ligne dans les noms de fichiers):

find ~ -type f | awk -F/ '{print $NF}' | sort | uniq -d

Vous pouvez utiliser xargsavec basenamepour obtenir la sortie souhaitée, comme ceci:

find ~ -type f -name "*" -print | xargs -l basename | sort | uniq -d > duplicate_files

Avec une version récente bashqui gère les tableaux associatifs, les éléments suivants gèrent en outre les chemins d'accès avec des retours à la ligne intégrés:

#!/bin/bash

topdir=$HOME

shopt -s globstar  # enable the ** glob

declare -A count

# count the number of times each filename (base name) occurs
for pathname in "$topdir"/**; do
    # skip names that are not regular files (or not symbolic links to such files)
    [ ! -f "$pathname" ] && continue

    # get the base name
    filename=${pathname##*/}

    # add one to this base name's count
    count[$filename]=$(( ${count[$filename]} + 1 ))
done

# go through the collected names and print any name that
# has a count greater than one
for filename in "${!count[@]}"; do
    if [ "${count[$filename]}" -gt 1 ]; then
        printf 'Duplicate filename: %s\n' "$filename"
    fi
done

Cela n'utilise aucun utilitaire externe.