renommer en masse (ou afficher correctement) les fichiers avec des caractères spéciaux

J'ai un tas de répertoires et sous-répertoires qui contiennent des fichiers avec des caractères spéciaux, comme ce fichier:

robbie@phil:~$ ls test�sktest.txt 
test?sktest.txt

Find révèle une séquence d'échappement:

robbie@phil:~$ find test�sktest.txt -ls 
424512 4000 -rwxr--r-x   1 robbie   robbie    4091743 Jan 26 00:34 test\323sktest.txt

La seule raison pour laquelle je peux même taper leurs noms sur la console est à cause de la complétion des onglets. Cela signifie également que je peux les renommer manuellement (et supprimer le caractère spécial).

J'ai mis LC_ALL sur UTF-8, ce qui ne semble pas aider (pas non plus sur un nouveau shell):

robbie@phil:~$ echo $LC_ALL
en_US.UTF-8

Je me connecte à la machine en utilisant ssh depuis mon mac. C'est une installation Ubuntu:

robbie@phil:~$ cat /etc/lsb-release 
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=7.10
DISTRIB_CODENAME=gutsy
DISTRIB_DESCRIPTION="Ubuntu 7.10"

Shell est Bash, TERM est défini sur xterm-color.

Ces fichiers existent depuis un certain temps et n'ont pas été créés à l'aide de cette installation d'Ubuntu. Je ne sais donc pas quels étaient les paramètres d'encodage du système.

J'ai essayé des choses dans le sens de:

find . -type f -ls | sed 's/[^a-zA-Z0-9]//g'

Mais je ne trouve pas de solution qui fasse tout ce que je veux:

1. Identifiez tous les fichiers qui ont des caractères non affichables (ce qui précède ignore beaucoup trop)
2. Pour tous ces fichiers dans une arborescence de répertoires (récursivement), exécutez mv oldname newname
3. En option, la possibilité de translittérer des caractères spéciaux tels que ä en a (non requis, mais serait génial)

OU

1. Afficher correctement tous ces fichiers (et aucune erreur dans les applications lors de la tentative d'ouverture)

J'ai des morceaux, comme itérer sur tous les fichiers et les déplacer, mais identifier les fichiers et les formater correctement pour la commande mv semble être la partie difficile.

Toute information supplémentaire expliquant pourquoi ils ne s'affichent pas correctement ou comment "deviner" le codage correct est également la bienvenue. (J'ai essayé convmv mais il ne semble pas faire exactement ce que je veux: http://j3e.de/linux/convmv/ )

Je suppose que vous voyez ce �caractère invalide parce que le nom contient une séquence d'octets qui n'est pas UTF-8 valide. Les noms de fichiers sur les systèmes de fichiers Unix typiques (y compris le vôtre) sont des chaînes d'octets, et c'est aux applications de décider du codage à utiliser. De nos jours, il y a une tendance à utiliser UTF-8, mais ce n'est pas universel, en particulier dans les environnements locaux qui ne pourraient jamais vivre avec de l'ASCII ordinaire et qui utilisaient d'autres encodages avant même que l'UTF-8 n'existe.

Essayez LC_CTYPE=en_US.iso88591 lsde voir si le nom de fichier a du sens dans ISO-8859-1 (latin-1). Si ce n'est pas le cas, essayez d'autres paramètres régionaux. Notez que seul le LC_CTYPEparamètre régional est important ici.

Dans un environnement local UTF-8, la commande suivante vous montrera tous les fichiers dont le nom n'est pas UTF-8 valide:

grep-invalid-utf8 () {
  perl -l -ne '/^([\000-\177]|[\300-\337][\200-\277]|[\340-\357][\200-\277]{2}|[\360-\367][\200-\277]{3}|[\370-\373][\200-\277]{4}|[\374-\375][\200-\277]{5})*$/ or print'
}
find | grep-invalid-utf8

Vous pouvez vérifier si elles ont plus de sens dans un autre lieu avec recodage ou iconv :

find | grep-invalid-utf8 | recode latin1..utf8
find | grep-invalid-utf8 | iconv -f latin1 -t utf8

Une fois que vous avez déterminé qu'un certain nombre de noms de fichiers sont dans un certain encodage (par exemple latin1), une façon de les renommer est

find | grep-invalid-utf8 |
rename 'BEGIN {binmode STDIN, ":encoding(latin1)"; use Encode;}
        $_=encode("utf8", $_)'

Cela utilise la commande perl rename disponible sur Debian et Ubuntu. Vous pouvez le transmettre -npour montrer ce qu'il ferait sans renommer réellement les fichiers.

Je sais que c'est une vieille question mais j'ai cherché toute la nuit une solution similaire. J'ai trouvé quelques conseils utiles mais ils n'ont pas fait exactement ce dont j'avais besoin, j'ai donc dû en mélanger quelques-uns pour obtenir le résultat correct que je cherchais

pour supprimer simplement les caractères spéciaux et les remplacer par un point (.)

for f in *.txt; do mv "$f" `echo $f | sed "s/[^a-zA-Z0-9.]/./g"`; done

à utiliser dans un cronjob j'ai fait ce qui suit pour exécuter chaque minute

*/1 * * * * cd /path/to/files/ && for f in *.txt; do mv "$f" `echo $f | sed "s/[^a-zA-Z0-9.]/./g"`; done >/dev/null 2>&1

J'espère que quelqu'un trouve cela utile car cela a fait ma journée :)

Maintenant, lorsque vous savez quel encodage est utilisé pour les noms de fichiers sur l'extrémité distante ("latin1" - selon les commentaires de la première réponse), vous pouvez également suivre la deuxième façon - exécuter un terminal local et ssh dans un tel manière que les noms de fichiers distants s'affichent correctement (plutôt que la première façon: les renommer) .

Comme moi , vous pouvez démarrer un terminal localement qui fonctionnerait dans cet encodage spécial, peut-être comme ceci:

LC_ALL = en_US.latin1 xvt &

xvt représente votre programme de terminal.

Peut-être que les paramètres régionaux existants sont appelés en_US.iso88591, et non en_US.latin1, comme je l'ai supposé.

Cela ne répond pas aux exigences de masse, mais je viens d'avoir un problème similaire où j'avais plusieurs versions d'un fichier avec des noms similaires qui ne différaient que par un seul caractère étrange. Malheureusement, cela signifiait que je ne pouvais pas renommer les contrevenants à l'aide de l'astuce générique que j'utilise habituellement.

À la fin, j'ai utilisé Filezilla pour me connecter en tant que client SFTP, j'ai parcouru les fichiers et les ai renommés à l'aide de l'interface graphique. Filezilla a très bien géré les caractères douteux.