Un jeton est une chaîne de caractères, classée selon les règles sous forme de symbole (par exemple, IDENTIFIANT, NUMÉRO, COMMA). Le processus de formation de jetons à partir d'un flux d'entrée de caractères est appelé tokenisation, et le lexer les catégorise en fonction d'un type de symbole. Un jeton peut ressembler à tout ce qui est utile pour traiter un flux de texte d'entrée ou un fichier texte.