Quel est l'outil ou la méthode la plus rapide et la plus simple pour convertir des fichiers texte entre des jeux de caractères?

Plus précisément, je dois convertir UTF-8 en ISO-8859-15 et vice versa.

Tout y passe: des lignes simples dans votre langage de script préféré, des outils en ligne de commande ou d'autres utilitaires pour OS, sites Web, etc.

Les meilleures solutions à ce jour:

Sous Linux / UNIX / OS X / cygwin:

• L' icône Gnu suggérée par Troels Arvin est mieux utilisée comme filtre . Il semble être universellement disponible. Exemple:

  $ iconv -f UTF-8 -t ISO-8859-15 in.txt > out.txt
  

  Comme l'a souligné Ben , il existe un convertisseur en ligne utilisant iconv .

• Gnu recode ( manuel ) proposé par Cheekysoft convertira un ou plusieurs fichiers sur place . Exemple:

  $ recode UTF8..ISO-8859-15 in.txt
  

  Celui-ci utilise des alias plus courts:

  $ recode utf8..l9 in.txt
  

  Recode prend également en charge les surfaces qui peuvent être utilisées pour convertir entre différents types de fin de ligne et encodages:

  Convertir les sauts de ligne de LF (Unix) en CR-LF (DOS):

  $ recode ../CR-LF in.txt
  

  Fichier de codage Base64:

  $ recode ../Base64 in.txt
  

  Vous pouvez également les combiner.

  Convertissez un fichier UTF8 encodé en Base64 avec des fins de ligne Unix en fichier Latin 1 encodé en Base64 avec des fins de ligne Dos:

  $ recode utf8/Base64..l1/CR-LF/Base64 file.txt
  

Sous Windows avec Powershell ( Jay Bazuzi ):

• PS C:\> gc -en utf8 in.txt | Out-File -en ascii out.txt

  (Pas de prise en charge ISO-8859-15 cependant; il indique que les jeux de caractères pris en charge sont unicode, utf7, utf8, utf32, ascii, bigendianunicode, default et oem.)

Éditer

Voulez-vous dire support iso-8859-1? Utiliser "String" le fait par exemple pour l'inverse

gc -en string in.txt | Out-File -en utf8 out.txt

Remarque: Les valeurs d'énumération possibles sont "Inconnu, Chaîne, Unicode, Octet, BigEndianUnicode, UTF8, UTF7, Ascii".

• CsCvt - Le convertisseur de jeu de caractères de Kalytta est un autre excellent outil de conversion basé sur la ligne de commande pour Windows.

Approche utilitaire autonome

iconv -f ISO-8859-1 -t UTF-8 in.txt > out.txt

-f ENCODING  the encoding of the input
-t ENCODING  the encoding of the output

Vous n'avez pas besoin de spécifier l'un de ces arguments. Ils seront par défaut à votre locale actuelle, qui est généralement UTF-8.

Essayez VIM

Si vous en avez, vimvous pouvez utiliser ceci:

Non testé pour chaque encodage.

La partie intéressante à ce sujet est que vous n'avez pas besoin de connaître l'encodage source

vim +"set nobomb | set fenc=utf8 | x" filename.txt

Sachez que cette commande modifie directement le fichier

Partie explicative!

1. +: Utilisé par vim pour entrer directement la commande lors de l'ouverture d'un fichier. Habituellement utilisé pour ouvrir un fichier sur une ligne spécifique:vim +14 file.txt
2. |: Séparateur de plusieurs commandes (comme ;dans bash)
3. set nobomb : pas de nomenclature utf-8
4. set fenc=utf8: Définir un nouvel encodage sur le lien doc utf-8
5. x : Enregistrer et fermer le fichier
6. filename.txt : chemin d'accès au fichier
7. ": qotes sont ici à cause des tuyaux. (sinon bash les utilisera comme pipe bash)

Sous Linux , vous pouvez utiliser le très puissant recodage commande pour essayer de convertir entre les différents jeux de caractères, ainsi que des problèmes de fin de ligne. recode -l vous montrera tous les formats et encodages entre lesquels l'outil peut convertir. Ce sera probablement une TRÈS longue liste.

iconv (1)

iconv -f FROM-ENCODING -t TO-ENCODING file.txt

Il existe également des outils basés sur des icônes dans de nombreuses langues.

Get-Content -Encoding UTF8 FILE-UTF8.TXT | Out-File -Encoding UTF7 FILE-UTF7.TXT

La version la plus courte, si vous pouvez supposer que la nomenclature d'entrée est correcte:

gc FILE.TXT | Out-File -en utf7 file-utf7.txt

Essayez la fonction Iconv Bash

Je l'ai mis dans .bashrc:

utf8()
{
    iconv -f ISO-8859-1 -t UTF-8 $1 > $1.tmp
    rm $1
    mv $1.tmp $1
}

..pour pouvoir convertir des fichiers comme ceci:

utf8 MyClass.java

Essayez Notepad ++

Sous Windows, j'ai pu utiliser Notepad ++ pour effectuer la conversion d' ISO-8859-1 en UTF-8 . Cliquez sur "Encoding"puis sur "Convert to UTF-8".

Oneliner utilisant find, avec détection automatique du jeu de caractères

Le codage des caractères de tous les fichiers texte correspondants est détecté automatiquement et tous les fichiers texte correspondants sont convertis en utf-8codage:

$ find . -type f -iname *.txt -exec sh -c 'iconv -f $(file -bi "$1" |sed -e "s/.*[ ]charset=//") -t utf-8 -o converted "$1" && mv converted "$1"' -- {} \;

Pour effectuer ces étapes, un sous-shell shest utilisé avec -exec, exécutant une ligne avec l' -cindicateur et passant le nom de fichier comme argument positionnel "$1"avec -- {}. Entre les deux, le utf-8fichier de sortie est temporairement nommé converted.

Par quoi file -bisignifie:

• -b, --brief Ne pas ajouter de noms de fichiers aux lignes de sortie (mode bref).

• -i, --mime Force la commande file à afficher des chaînes de type mime plutôt que les chaînes lisibles par l'homme plus traditionnelles. Ainsi, il peut dire par exemple text/plain; charset=us-asciiplutôt que ASCII text. La sedcommande réduit cela uniquement us-asciicomme requis par iconv.

La findcommande est très utile pour une telle automatisation de la gestion des fichiers. Cliquez ici pour plus à findgogo .

PHP iconv ()

iconv("UTF-8", "ISO-8859-15", $input);

DOS / Windows: utilisez la page de code

chcp 65001>NUL
type ascii.txt > unicode.txt

La commande chcppeut être utilisée pour modifier la page de codes. La page de codes 65001 est le nom Microsoft pour UTF-8. Après avoir défini la page de codes, la sortie générée par les commandes suivantes sera de la page de codes définie.

pour écrire le fichier de propriétés (Java) normalement j'utilise ceci sous linux (distributions mint et ubuntu):

$ native2ascii filename.properties

Par exemple:

$ cat test.properties 
first=Execução número um
second=Execução número dois

$ native2ascii test.properties 
first=Execu\u00e7\u00e3o n\u00famero um
second=Execu\u00e7\u00e3o n\u00famero dois

PS: J'ai écrit l'exécution numéro un / deux en portugais pour forcer les caractères spéciaux.

Dans mon cas, lors de la première exécution, j'ai reçu ce message:

$ native2ascii teste.txt 
The program 'native2ascii' can be found in the following packages:
 * gcj-5-jdk
 * openjdk-8-jdk-headless
 * gcj-4.8-jdk
 * gcj-4.9-jdk
Try: sudo apt install <selected package>

Lorsque j'ai installé la première option (gcj-5-jdk), le problème était terminé.

J'espère que cela aide quelqu'un.

Avec rubis:

ruby -e "File.write('output.txt', File.read('input.txt').encode('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: ''))"

Source: https://robots.thoughtbot.com/fight-back-utf-8-invalid-byte-sequences

Utilisez ce script Python: https://github.com/goerz/convert_encoding.py Fonctionne sur n'importe quelle plateforme. Nécessite Python 2.7.

Mon outil préféré est Jedit (un éditeur de texte basé sur java) qui a deux fonctionnalités très pratiques:

• Celui qui permet à l'utilisateur de recharger un texte avec un encodage différent (et, en tant que tel, de contrôler visuellement le résultat)
• Un autre qui permet à l'utilisateur de choisir explicitement l'encodage (et le caractère de fin de ligne) avant d'enregistrer

Modifiez simplement l'encodage du fichier chargé dans IntelliJ IDEA IDE, à droite de la barre d'état (en bas), où le jeu de caractères actuel est indiqué. Il vous invite à recharger ou convertir, utilisez Convertir. Assurez-vous d'avoir sauvegardé le fichier d'origine à l'avance.

Si les applications de l'interface graphique macOS sont votre pain et beurre, SubEthaEdit est l'éditeur de texte auquel je vais habituellement pour l'encodage-wrangling - son "aperçu de conversion" vous permet de voir tous les caractères invalides dans l'encodage de sortie, et de les corriger / supprimer.

Et c'est open-source maintenant, alors oui pour eux 😉.

Comme décrit dans Comment corriger l'encodage de caractères d'un fichier? Synalyze It! vous permet de convertir facilement sous OS X entre tous les encodages pris en charge par la bibliothèque ICU .

De plus, vous pouvez afficher certains octets d'un fichier traduit en Unicode à partir de tous les encodages pour voir rapidement celui qui convient à votre fichier.