Conversion de symboles, de lettres d'accentuation en alphabet anglais

Le problème est que, comme vous le savez, il y a des milliers de caractères dans le graphique Unicode et je veux convertir tous les caractères similaires en lettres qui sont en alphabet anglais.

Par exemple, voici quelques conversions:

ҥ->H
Ѷ->V
Ȳ->Y
Ǭ->O
Ƈ->C
tђє Ŧค๓เℓy --> the Family
...

et j'ai vu qu'il existe plus de 20 versions de la lettre A / a. et je ne sais pas comment les classer. Ils ressemblent à des aiguilles dans la botte de foin.

La liste complète des caractères Unicode se trouve à http://www.ssec.wisc.edu/~tomw/java/unicode.html ou http://unicode.org/charts/charindex.html . Essayez simplement de faire défiler vers le bas et de voir les variations de lettres.

Comment puis-je convertir tout cela avec Java? Aidez-moi, s'il vous plaît :(

Republier mon message depuis Comment supprimer les signes diacritiques (accents) d'une chaîne dans .NET?

Cette méthode fonctionne très bien en java (uniquement dans le but de supprimer les signes diacritiques aka accents) .

Il convertit fondamentalement tous les caractères accentués en leurs homologues désaccentués, suivis de leur combinaison de signes diacritiques. Vous pouvez maintenant utiliser une expression régulière pour supprimer les signes diacritiques.

import java.text.Normalizer;
import java.util.regex.Pattern;

public String deAccent(String str) {
    String nfdNormalizedString = Normalizer.normalize(str, Normalizer.Form.NFD); 
    Pattern pattern = Pattern.compile("\\p{InCombiningDiacriticalMarks}+");
    return pattern.matcher(nfdNormalizedString).replaceAll("");
}

Il fait partie d' Apache Commons Lang à partir de la ver. 3.0.

org.apache.commons.lang3.StringUtils.stripAccents("Añ");

Retour An

Voir également http://www.drillio.com/en/software-development/java/removing-accents-diacritics-in-any-language/

Tenter de «tous les convertir» est une mauvaise approche du problème.

Tout d'abord, vous devez comprendre les limites de ce que vous essayez de faire. Comme d'autres l'ont souligné, les signes diacritiques sont là pour une raison: ce sont essentiellement des lettres uniques dans l'alphabet de cette langue avec leur propre signification / son, etc.: supprimer ces marques équivaut à remplacer des lettres aléatoires dans un mot anglais. C'est avant même de commencer à considérer les langues cyrilliques et d'autres textes basés sur des scripts tels que l'arabe, qui ne peuvent tout simplement pas être «convertis» en anglais.

Si vous devez , pour une raison quelconque, convertir des caractères, alors la seule façon raisonnable de l'aborder est de réduire d'abord la portée de la tâche à accomplir. Considérez la source de l'entrée - si vous codez une application pour "le monde occidental" (pour utiliser une phrase aussi bonne que n'importe quelle autre), il est peu probable que vous ayez jamais besoin d'analyser les caractères arabes. De même, le jeu de caractères Unicode contient des centaines de symboles mathématiques et illustrés: il n'y a pas de moyen (facile) pour les utilisateurs de les saisir directement, vous pouvez donc supposer qu'ils peuvent être ignorés.

En suivant ces étapes logiques, vous pouvez réduire le nombre de caractères possibles à analyser au point où une opération de recherche / remplacement basée sur le dictionnaire est possible. Cela devient alors une petite quantité de travail légèrement ennuyeux pour créer les dictionnaires, et une tâche triviale pour effectuer le remplacement. Si votre langage prend en charge les caractères Unicode natifs (comme le fait Java) et optimise correctement les structures statiques, cette recherche et ces remplacements ont tendance à être incroyablement rapides.

Cela vient de l'expérience d'avoir travaillé sur une application qui était nécessaire pour permettre aux utilisateurs finaux de rechercher des données bibliographiques contenant des caractères diacritiques. Les tableaux de recherche (comme c'était le cas dans notre cas) ont pris peut-être 1 jour d'homme à produire, pour couvrir toutes les marques diacritiques de toutes les langues d'Europe occidentale.

Puisque le codage qui transforme «la famille» en «tђє Ŧ ค ๓ เ ℓy» est effectivement aléatoire et ne suit aucun algorithme qui peut être expliqué par les informations des points de code Unicode impliqués, il n'y a pas de moyen général de résoudre ce problème de manière algorithmique.

Vous devrez construire le mappage des caractères Unicode en caractères latins auxquels ils ressemblent. Vous pourriez probablement le faire avec un apprentissage automatique intelligent sur les glyphes réels représentant les points de code Unicode. Mais je pense que l'effort pour cela serait plus grand que la construction manuelle de cette cartographie. Surtout si vous disposez d'une bonne quantité d'exemples à partir desquels vous pouvez construire votre cartographie.

Pour clarifier: quelques-unes des substitutions peuvent en fait être résolues via les données Unicode (comme le montrent les autres réponses), mais certaines lettres n'ont tout simplement aucune association raisonnable avec les caractères latins auxquels elles ressemblent.

Exemples:

• "ђ" (U + 0452 CYRILLIC MINUSCULE DJE) est plus lié à "d" qu'à "h", mais est utilisé pour représenter "h".
• "Ŧ" (U + 0166 LETTRE MAJUSCULE LATINE T AVEC RACCORD) est quelque peu lié à "T" (comme son nom l'indique) mais est utilisé pour représenter "F".
• "ค" (U + 0E04 THAI CARACTER KHO KHWAI) n'est pas du tout lié à un caractère latin et dans votre exemple est utilisé pour représenter "a"

La demande d'origine a déjà reçu une réponse.

Cependant, je publie la réponse ci-dessous pour ceux qui pourraient rechercher un code de translittération générique pour translittérer n'importe quel jeu de caractères en latin / anglais en Java.

Signification naïve de la traduction: la chaîne traduite dans sa forme finale / jeu de caractères cible sonne comme la chaîne dans sa forme originale. Si nous voulons translittérer n'importe quel jeu de caractères en latin (alphabets anglais), alors ICU4 (bibliothèque ICU4J en java) fera le travail.

Voici l'extrait de code en java:

    import com.ibm.icu.text.Transliterator; //ICU4J library import

    public static String TRANSLITERATE_ID = "NFD; Any-Latin; NFC";
    public static String NORMALIZE_ID = "NFD; [:Nonspacing Mark:] Remove; NFC";

    /**
    * Returns the transliterated string to convert any charset to latin.
    */
    public static String transliterate(String input) {
        Transliterator transliterator = Transliterator.getInstance(TRANSLITERATE_ID + "; " + NORMALIZE_ID);
        String result = transliterator.transliterate(input);
        return result;
    }

Corde testée: ÁÂÃÄÅÆÇÈÉÊËÌÍÎÏÐÑÒÓÔÕÖØÙÚÛÜÝß

Testé:

• Sortie d' Apache Commons Lang3 : AAAAAÆCEEEEIIIIÐNOOOOOØUUUUYß
• Sortie d' ICU4j : AAAAAÆCEEEEIIIIÐNOOOOOØUUUUYß
• Sortie de JUnidecode : AAAAAAECEEEEIIIIDNOOOOOOUUUUUss (problème avec Ý et un autre problème )
• Sortie de Unidecode : AAAAAAECEEEEIIIIDNOOOOOOUUUUYss

Le dernier choix est le meilleur.

Si le besoin est de convertir "òéışöç-> oeisoc", vous pouvez utiliser ceci comme point de départ:

public class AsciiUtils {
    private static final String PLAIN_ASCII =
      "AaEeIiOoUu"    // grave
    + "AaEeIiOoUuYy"  // acute
    + "AaEeIiOoUuYy"  // circumflex
    + "AaOoNn"        // tilde
    + "AaEeIiOoUuYy"  // umlaut
    + "Aa"            // ring
    + "Cc"            // cedilla
    + "OoUu"          // double acute
    ;

    private static final String UNICODE =
     "\u00C0\u00E0\u00C8\u00E8\u00CC\u00EC\u00D2\u00F2\u00D9\u00F9"             
    + "\u00C1\u00E1\u00C9\u00E9\u00CD\u00ED\u00D3\u00F3\u00DA\u00FA\u00DD\u00FD" 
    + "\u00C2\u00E2\u00CA\u00EA\u00CE\u00EE\u00D4\u00F4\u00DB\u00FB\u0176\u0177" 
    + "\u00C3\u00E3\u00D5\u00F5\u00D1\u00F1"
    + "\u00C4\u00E4\u00CB\u00EB\u00CF\u00EF\u00D6\u00F6\u00DC\u00FC\u0178\u00FF" 
    + "\u00C5\u00E5"                                                             
    + "\u00C7\u00E7" 
    + "\u0150\u0151\u0170\u0171" 
    ;

    // private constructor, can't be instanciated!
    private AsciiUtils() { }

    // remove accentued from a string and replace with ascii equivalent
    public static String convertNonAscii(String s) {
       if (s == null) return null;
       StringBuilder sb = new StringBuilder();
       int n = s.length();
       for (int i = 0; i < n; i++) {
          char c = s.charAt(i);
          int pos = UNICODE.indexOf(c);
          if (pos > -1){
              sb.append(PLAIN_ASCII.charAt(pos));
          }
          else {
              sb.append(c);
          }
       }
       return sb.toString();
    }

    public static void main(String args[]) {
       String s = 
         "The result : È,É,Ê,Ë,Û,Ù,Ï,Î,À,Â,Ô,è,é,ê,ë,û,ù,ï,î,à,â,ô,ç";
       System.out.println(AsciiUtils.convertNonAscii(s));
       // output : 
       // The result : E,E,E,E,U,U,I,I,A,A,O,e,e,e,e,u,u,i,i,a,a,o,c
    }
}

Le JDK 1.6 fournit la classe java.text.Normalizer qui peut être utilisée pour cette tâche.

Voir un exemple ici

Vous pouvez essayer d'utiliser unidecode, qui est disponible en tant que gemme ruby et en tant que module perl sur cpan . Essentiellement, cela fonctionne comme une énorme table de recherche, où chaque point de code Unicode se rapporte à un caractère ou une chaîne ascii.

Il n'y a pas de moyen facile ou général de faire ce que vous voulez, car c'est juste votre opinion subjective que ces lettres ressemblent aux lettres latines vers lesquelles vous voulez convertir. Ce sont en fait des lettres séparées avec leurs propres noms et sons distincts qui ressemblent simplement à une lettre latine.

Si vous voulez cette conversion, vous devez créer votre propre table de traduction en fonction des lettres latines vers lesquelles vous pensez que les lettres non latines doivent être converties.

(Si vous souhaitez uniquement supprimer les signes diacritiques, il y a quelques réponses dans ce fil: Comment supprimer les signes diacritiques (accents) d'une chaîne dans .NET? Cependant, vous décrivez un problème plus général)

Je suis en retard à la fête, mais après avoir affronté ce problème aujourd'hui, j'ai trouvé cette réponse très bonne:

String asciiName = Normalizer.normalize(unicodeName, Normalizer.Form.NFD)
    .replaceAll("[^\\p{ASCII}]", "");

Référence: https://stackoverflow.com/a/16283863

Le problème de la «conversion» de l'Unicode arbitraire en ASCII est que la signification d'un caractère dépend de la culture. Par exemple, «ß» pour une personne de langue allemande devrait être converti en «ss» alors qu'un anglophone le convertirait probablement en «B».

Ajoutez à cela le fait qu'Unicode a plusieurs points de code pour les mêmes glyphes.

Le résultat est que la seule façon de le faire est de créer une table massive avec chaque caractère Unicode et le caractère ASCII vers lequel vous souhaitez le convertir. Vous pouvez prendre un raccourci en normalisant les caractères avec des accents au formulaire de normalisation KD, mais tous les caractères ne se normalisent pas en ASCII. De plus, Unicode ne définit pas quelles parties d'un glyphe sont des «accents».

Voici un petit extrait d'une application qui fait cela:

switch (c)
{
    case 'A':
    case '\u00C0':  //  À LATIN CAPITAL LETTER A WITH GRAVE
    case '\u00C1':  //  Á LATIN CAPITAL LETTER A WITH ACUTE
    case '\u00C2':  //  Â LATIN CAPITAL LETTER A WITH CIRCUMFLEX
    // and so on for about 20 lines...
        return "A";
        break;

    case '\u00C6'://  Æ LATIN CAPITAL LIGATURE AE
        return "AE";
        break;

    // And so on for pages...
}

La classe suivante fait l'affaire:

org.apache.lucene.analysis.miscellaneous.ASCIIFoldingFilter