Unicode et les encodages sont des choses complètement différentes et indépendantes.
Unicode
Attribue un identifiant numérique à chaque caractère:
- 0x41 → A
- 0xE1 → á
- 0x414 → Д
Ainsi, Unicode attribue le numéro 0x41 à A, 0xE1 à á et 0x414 à Д.
Même la petite flèche → que j'ai utilisée a son numéro Unicode, c'est 0x2192. Et même les emojis ont leurs numéros Unicode, 😂 est 0x1F602.
Vous pouvez rechercher les numéros Unicode de tous les caractères de ce tableau . En particulier, vous pouvez trouver les trois premiers caractères ci-dessus ici , la flèche ici et l'emoji ici .
Ces numéros attribués à tous les caractères par Unicode sont appelés points de code .
Le but de tout cela est de fournir un moyen de se référer sans ambiguïté à chaque caractère. Par exemple, si je parle de 😂, au lieu de dire "vous savez, cet emoji riant avec des larmes" , je peux simplement dire, point de code Unicode 0x1F602 . Plus facile, non?
Notez que les points de code Unicode sont généralement formatés avec un début U+
, puis la valeur numérique hexadécimale complétée à au moins 4 chiffres. Ainsi, les exemples ci-dessus seraient U + 0041, U + 00E1, U + 0414, U + 2192, U + 1F602.
Les points de code Unicode vont de U + 0000 à U + 10FFFF. Soit 1 114 112 chiffres. 2048 de ces nombres sont utilisés pour les substituts , il en reste donc 1.112.064. Cela signifie qu'Unicode peut attribuer un identifiant unique (point de code) à 1 112 064 caractères distincts. Tous ces points de code ne sont pas encore affectés à un caractère, et Unicode est étendu en continu (par exemple, lorsque de nouveaux emojis sont introduits).
La chose importante à retenir est que tout ce que fait Unicode est d'attribuer un identifiant numérique, appelé point de code, à chaque caractère pour une référence simple et sans ambiguïté.
Encodages
Mappez les caractères sur les modèles de bits.
Ces modèles de bits sont utilisés pour représenter les caractères dans la mémoire de l'ordinateur ou sur le disque.
Il existe de nombreux encodages différents qui couvrent différents sous-ensembles de caractères. Dans le monde anglophone, les encodages les plus courants sont les suivants:
Mappe 128 caractères (points de code U + 0000 à U + 007F) avec des modèles de bits de longueur 7.
Exemple:
Vous pouvez voir tous les mappages dans ce tableau .
Mappe 191 caractères (points de code U + 0020 à U + 007E et U + 00A0 à U + 00FF) à des modèles de bits de longueur 8.
Exemple:
- a → 01100001 (0x61)
- á → 11100001 (0xE1)
Vous pouvez voir tous les mappages dans ce tableau .
Cartes 1,112,064 caractères (tous les points de code Unicode existants) à des configurations de bits de longueur , soit 8, 16, 24 ou 32 bits (soit 1, 2, 3 ou 4 octets).
Exemple:
- a → 01100001 (0x61)
- á → 11000011 10100001 (0xC3 0xA1)
- ≠ → 11100010 10001001 10100000 (0xE2 0x89 0xA0)
- 😂 → 11110000 10011111 10011000 10000010 (0xF0 0x9F 0x98 0x82)
La façon dont UTF-8 encode les caractères en chaînes de bits est très bien décrite ici .
Unicode et encodages
En regardant les exemples ci-dessus, il devient clair à quel point Unicode est utile.
Par exemple, si je suis Latin-1 et que je veux expliquer mon encodage de á, je n'ai pas besoin de dire:
"J'encode ça avec un aigu (ou comme vous appelez cette barre montante) comme 11100001"
Mais je peux juste dire:
"J'encode U + 00E1 comme 11100001"
Et si je suis UTF-8 , je peux dire:
"Moi, à mon tour, j'encode U + 00E1 comme 11000011 10100001"
Et il est clair pour tout le monde de quel personnage nous parlons.
Maintenant à la confusion souvent apparue
Il est vrai que parfois le modèle binaire d'un encodage, si vous l'interprétez comme un nombre binaire, est le même que le point de code Unicode de ce caractère.
Par exemple:
- ASCII code a comme 1100001, que vous pouvez interpréter comme le nombre hexadécimal 0x61 , et le point de code Unicode de a est U + 0061 .
- Latin-1 code á comme 11100001, que vous pouvez interpréter comme le nombre hexadécimal 0xE1 , et le point de code Unicode de á est U + 00E1 .
Bien sûr, cela a été arrangé comme ceci à des fins de commodité. Mais vous devriez le considérer comme une pure coïncidence . Le modèle binaire utilisé pour représenter un caractère en mémoire n'est en aucun cas lié au point de code Unicode de ce caractère.
Personne ne dit même que vous devez interpréter une chaîne de bits comme 11100001 comme un nombre binaire. Regardez-le simplement comme la séquence de bits que Latin-1 utilise pour coder le caractère á .
Retour à votre question
L'encodage utilisé par votre interpréteur Python est UTF-8 .
Voici ce qui se passe dans vos exemples:
Exemple 1
Ce qui suit encode le caractère á en UTF-8. Il en résulte la chaîne de bits 11000011 10100001, qui est enregistrée dans la variable a
.
>>> a = 'á'
Lorsque vous regardez la valeur de a
, son contenu 11000011 10100001 est formaté en tant que numéro hexadécimal 0xC3 0xA1 et généré sous la forme '\xc3\xa1'
:
>>> a
'\xc3\xa1'
Exemple 2
Ce qui suit enregistre le point de code Unicode de á, qui est U + 00E1, dans la variable ua
(nous ne savons pas quel format de données Python utilise en interne pour représenter le point de code U + 00E1 en mémoire, et cela n'a pas d'importance pour nous):
>>> ua = u'á'
Lorsque vous regardez la valeur de ua
, Python vous indique qu'il contient le point de code U + 00E1:
>>> ua
u'\xe1'
Exemple 3
Ce qui suit encode le point de code Unicode U + 00E1 (représentant le caractère á) avec UTF-8, ce qui donne le modèle de bits 11000011 10100001. Encore une fois, pour la sortie, ce modèle de bits est représenté par le nombre hexadécimal 0xC3 0xA1:
>>> ua.encode('utf-8')
'\xc3\xa1'
Exemple 4
Ce qui suit encode le point de code Unicode U + 00E1 (représentant le caractère á) avec Latin-1, ce qui donne le modèle de bits 11100001. Pour la sortie, ce modèle de bits est représenté par le nombre hexadécimal 0xE1, qui, par coïncidence, est le même que l'initial point de code U + 00E1:
>>> ua.encode('latin1')
'\xe1'
Il n'y a aucune relation entre l'objet Unicode ua
et l'encodage Latin-1. Le fait que le point de code de á soit U + 00E1 et que le codage Latin-1 de á soit 0xE1 (si vous interprétez le modèle binaire du codage comme un nombre binaire) est une pure coïncidence.
unicode
, c'est juste une abstraction de caractère unicode;unicode
peut être converti enstr
avec un certain codage (par exempleutf-8
).