Comment trouver l'encodage d'un fichier via un script sous Linux?

J'ai besoin de trouver l'encodage de tous les fichiers qui sont placés dans un répertoire. Existe-t-il un moyen de trouver l'encodage utilisé?

La filecommande n'est pas en mesure de le faire.

L'encodage qui m'intéresse est: ISO-8859-1. Si l'encodage est autre chose, je veux déplacer le fichier vers un autre répertoire.

Cela ressemble à ce que vous recherchez enca. Il peut deviner et même convertir entre les encodages. Regardez la page de manuel .

Ou, à défaut, utilisez file -i(linux) ou file -I(osx). Cela produira des informations de type MIME pour le fichier, qui comprendra également l'encodage du jeu de caractères. J'ai aussi trouvé une page de manuel pour ça :)

file -bi <file name>

Si vous aimez le faire pour un tas de fichiers

for f in `find | egrep -v Eliminate`; do echo "$f" ' -- ' `file -bi "$f"` ; done

uchardet - Une bibliothèque de détecteurs d'encodage portée depuis Mozilla.

Usage:

~> uchardet file.java 
UTF-8

Diverses distributions Linux (Debian / Ubuntu, OpenSuse-packman, ...) fournissent des binaires.

voici un exemple de script utilisant le fichier -I et iconv qui fonctionne sur MacOsX Pour votre question, vous devez utiliser mv au lieu de iconv

#!/bin/bash
# 2016-02-08
# check encoding and convert files
for f in *.java
do
  encoding=`file -I $f | cut -f 2 -d";" | cut -f 2 -d=`
  case $encoding in
    iso-8859-1)
    iconv -f iso8859-1 -t utf-8 $f > $f.utf8
    mv $f.utf8 $f
    ;;
  esac
done

Il est vraiment difficile de déterminer s'il s'agit de l'iso-8859-1. Si vous avez un texte avec seulement 7 caractères binaires qui pourrait également être iso-8859-1 mais vous ne savez pas. Si vous avez des caractères à 8 bits, les caractères de la région supérieure existent également dans l'ordre des codages. Pour cela, vous devrez utiliser un dictionnaire pour mieux deviner de quel mot il s'agit et déterminer à partir de là quelle lettre il doit être. Enfin, si vous détectez que ce pourrait être utf-8, vous êtes sûr que ce n'est pas iso-8859-1

L'encodage est l'une des choses les plus difficiles à faire car vous ne savez jamais si rien ne vous dit

Dans Debian, vous pouvez également utiliser encguess:

$ encguess test.txt
test.txt  US-ASCII

Pour convertir le codage de 8859 en ASCII:

iconv -f ISO_8859-1 -t ASCII filename.txt

Avec Python, vous pouvez utiliser le module chardet: https://github.com/chardet/chardet

Ce n'est pas quelque chose que vous pouvez faire à toute épreuve. Une possibilité serait d'examiner chaque caractère du fichier pour s'assurer qu'il ne contient aucun caractère dans les plages 0x00 - 0x1fou 0x7f -0x9fmais, comme je l'ai dit, cela peut être vrai pour n'importe quel nombre de fichiers, y compris au moins une autre variante d'ISO8859.

Une autre possibilité consiste à rechercher des mots spécifiques dans le fichier dans toutes les langues prises en charge et à voir si vous pouvez les trouver.

Ainsi, par exemple, recherchez l'équivalent de l'anglais "et", "mais", "à", "de" et ainsi de suite dans toutes les langues prises en charge de 8859-1 et voyez si elles ont un grand nombre d'occurrences dans le fichier.

Je ne parle pas de traduction littérale comme:

English   French
-------   ------
of        de, du
and       et
the       le, la, les

bien que ce soit possible. Je parle de mots communs dans la langue cible (pour autant que je sache, l'islandais n'a pas de mot pour "et" - vous devrez probablement utiliser leur mot pour "poisson" [désolé, c'est un peu stéréotypé, je ne l'ai pas signifie toute infraction, illustrant simplement un point]).

Je sais que vous êtes intéressé par une réponse plus générale, mais ce qui est bon en ASCII est généralement bon dans d'autres encodages. Voici une ligne unique en Python pour déterminer si l'entrée standard est ASCII. (Je suis sûr que cela fonctionne en Python 2, mais je ne l'ai testé que sur Python 3.)

python -c 'from sys import exit,stdin;exit()if 128>max(c for l in open(stdin.fileno(),"b") for c in l) else exit("Not ASCII")' < myfile.txt

Si vous parlez de fichiers XML (ISO-8859-1), la déclaration XML à l'intérieur d'eux spécifie l'encodage: <?xml version="1.0" encoding="ISO-8859-1" ?>
Ainsi, vous pouvez utiliser des expressions régulières (par exemple avec perl) pour vérifier chaque fichier pour une telle spécification.
Vous trouverez plus d'informations ici: Comment déterminer le codage d'un fichier texte .

En php, vous pouvez vérifier comme ci-dessous:

Spécification explicite de la liste d'encodage:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

"Mb_list_encodings" plus précis:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Ici, dans le premier exemple, vous pouvez voir que j'ai mis une liste d'encodages (détecter l'ordre des listes) qui pourraient correspondre. Pour avoir un résultat plus précis, vous pouvez utiliser tous les encodages possibles via: mb_list_encodings ()

Remarque: les fonctions mb_ * nécessitent php-mbstring

apt-get install php-mbstring

Chez Cygwin, cela semble fonctionner pour moi:

find -type f -name "<FILENAME_GLOB>" | while read <VAR>; do (file -i "$<VAR>"); done

Exemple:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done

Vous pouvez diriger cela vers awk et créer une commande iconv pour tout convertir en utf8, à partir de n'importe quel encodage source pris en charge par iconv.

Exemple:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done | awk -F[:=] '{print "iconv -f "$3" -t utf8 \""$1"\" > \""$1"_utf8\""}' | bash

Vous pouvez extraire l'encodage d'un seul fichier avec la commande file. J'ai un fichier sample.html avec:

$ file sample.html 

sample.html: document HTML, texte Unicode UTF-8, avec de très longues lignes

$ file -b sample.html

Document HTML, texte Unicode UTF-8, avec de très longues lignes

$ file -bi sample.html

text / html; charset = utf-8

$ file -bi sample.html  | awk -F'=' '{print $2 }'

utf-8

J'utilise le script suivant pour

1. Trouver tous les fichiers qui correspondent à FILTER avec SRC_ENCODING
2. Créez-en une sauvegarde
3. Convertissez-les en DST_ENCODING
4. (facultatif) Supprimez les sauvegardes

.

#!/bin/bash -xe

SRC_ENCODING="iso-8859-1"
DST_ENCODING="utf-8"
FILTER="*.java"

echo "Find all files that match the encoding $SRC_ENCODING and filter $FILTER"
FOUND_FILES=$(find . -iname "$FILTER" -exec file -i {} \; | grep "$SRC_ENCODING" | grep -Eo '^.*\.java')

for FILE in $FOUND_FILES ; do
    ORIGINAL_FILE="$FILE.$SRC_ENCODING.bkp"
    echo "Backup original file to $ORIGINAL_FILE"
    mv "$FILE" "$ORIGINAL_FILE"

    echo "converting $FILE from $SRC_ENCODING to $DST_ENCODING"
    iconv -f "$SRC_ENCODING" -t "$DST_ENCODING" "$ORIGINAL_FILE" -o "$FILE"
done

echo "Deleting backups"
find . -iname "*.$SRC_ENCODING.bkp" -exec rm {} \;

avec cette commande:

for f in `find .`; do echo `file -i "$f"`; done

vous pouvez lister tous les fichiers dans un répertoire et des sous-répertoires et l'encodage correspondant.

Avec Perl, utilisez Encode :: Detect.