Comment détecter automatiquement l'encodage de fichier texte?

Il existe de nombreux fichiers texte qui ont été codés dans des jeux de caractères variantes.

Je veux tous les convertir en UTF-8, mais avant d'exécuter iconv, j'ai besoin de connaître son encodage d'origine. La plupart des navigateurs ont une Auto Detectoption dans les encodages, cependant, je ne peux pas vérifier ces fichiers texte un par un car ils sont trop nombreux.

N'ayant connu que l'encodage d'origine, je peux alors convertir les textes par iconv -f DETECTED_CHARSET -t utf-8.

Existe-t-il un utilitaire permettant de détecter le codage de fichiers en texte brut? Il NE DOIT PAS être parfait à 100%, cela ne me dérange pas qu'il y ait 100 fichiers mal convertis en 1 000 000 de fichiers.

Essayez le module chardet Python, disponible sur PyPi:

pip install chardet

Alors courez chardetect myfile.txt.

Chardet est basé sur le code de détection utilisé par Mozilla, il devrait donc donner des résultats raisonnables, à condition que le texte saisi soit suffisamment long pour permettre une analyse statistique. Lisez la documentation du projet .

Comme mentionné dans les commentaires, il est assez lent, mais certaines distributions fournissent également la version C ++ originale, comme @Xavier l’a trouvée dans https://superuser.com/a/609056 . Il existe également une version Java quelque part.

Je voudrais utiliser cette commande simple:

encoding=$(file -bi myfile.txt)

Ou si vous voulez juste le jeu de caractères actuel (comme utf-8):

encoding=$(file -b --mime-encoding myfile.txt)

Sous Linux basé sur Debian, le paquet uchardet ( Debian / Ubuntu ) fournit un outil de ligne de commande. Voir ci-dessous la description du paquet:

 universal charset detection library - cli utility
 .
 uchardet is a C language binding of the original C++ implementation
 of the universal charset detection library by Mozilla.
 .
 uchardet is a encoding detector library, which takes a sequence of
 bytes in an unknown character encoding without any additional
 information, and attempts to determine the encoding of the text.
 .
 The original code of universalchardet is available at
 http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet
 .
 Techniques used by universalchardet are described at
 http://www.mozilla.org/projects/intl/UniversalCharsetDetection.html

Pour Linux, il existe enca et pour Solaris, vous pouvez utiliser auto_ef .

Mozilla a une base de code intéressante pour la détection automatique dans les pages Web:
http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet/src/

Description détaillée de l'algorithme:
http://www-archive.mozilla.org/projects/intl/UniversalCharsetDetection.html

Pour revenir à chardet (python 2.?), Cet appel pourrait suffire:

python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())' < file
{'confidence': 0.98999999999999999, 'encoding': 'utf-8'}

Bien que ce soit loin d'être parfait ....

echo "öasd" | iconv -t ISO-8859-1 | python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())'
{'confidence': 0.5, 'encoding': 'windows-1252'}

Pour ceux qui utilisent régulièrement Emacs, ils pourraient trouver ce qui suit utile (permet d’inspecter et de valider manuellement la transfomation).

De plus, je trouve souvent que la détection automatique des jeux de caractères Emacs est beaucoup plus efficace que les autres outils de détection automatique des jeux de caractères (tels que chardet).

(setq paths (mapcar 'file-truename '(
 "path/to/file1"
 "path/to/file2"
 "path/to/file3"
)))

(dolist (path paths)
  (find-file path)
  (set-buffer-file-coding-system 'utf-8-unix)
  )

Ensuite, un simple appel à Emacs avec ce script en argument (voir l’option "-l") fait le travail.

UTFCast vaut la peine d'essayer. Cela n'a pas fonctionné pour moi (peut-être parce que mes fichiers sont terribles) mais ça a l'air bien.

http://www.addictivetips.com/windows-tips/how-to-batch-convert-text-files-to-utf-8-encoding/

isutf8(de l' moreutilsemballage) a fait le travail

Aussi au cas où vous classez -i vous donne inconnu

Vous pouvez utiliser cette commande php qui peut deviner un jeu de caractères comme ci-dessous:

En php, vous pouvez vérifier comme ci-dessous:

Spécifier explicitement la liste de codage:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

" Mb_list_encodings " plus précis :

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Ici, dans le premier exemple, vous pouvez voir que je mets une liste de codages (détection d’ordre de liste) pouvant correspondre. Pour obtenir un résultat plus précis, vous pouvez utiliser tous les encodages possibles via: mb_list_encodings ()

Remarque les fonctions mb_ * nécessitent php-mbstring

apt-get install php-mbstring 

Voir la réponse: https://stackoverflow.com/a/57010566/3382822