Génie logiciel lexer

4

Quand utiliser un analyseur syntaxique? Quand utiliser un générateur d'analyseur?

Je me suis plongé récemment dans le monde des analyseurs syntaxiques pour créer mon propre langage de programmation. Cependant, j’ai découvert qu’il existe deux approches quelque peu différentes d’écriture d’analyseurs: les générateurs d’analyseurs et les combinateurs d’analyseurs. Fait intéressant, je n’ai trouvé aucune ressource qui explique dans quels cas quelle …

60 parsing lexer parser-combinator

6

Pourquoi implémenter un lexer comme un tableau 2D et un commutateur géant?

Je travaille lentement pour terminer mon diplôme, et ce semestre est Compilers 101. Nous utilisons le Dragon Book . Peu de temps dans le cours et nous parlons de l'analyse lexicale et de la façon dont elle peut être implémentée via des automates finis déterministes (ci-après, DFA). Configurez vos différents …

24 compiler lexer pragmatism

3

Quel devrait être le type de données des jetons qu'un lexeur renvoie à son analyseur?

Comme indiqué dans le titre, quel type de données un lexer doit-il retourner / donner à l'analyseur? En lisant l' article sur l' analyse lexicale de Wikipédia, il a déclaré que: En informatique, l'analyse lexicale est le processus de conversion d'une séquence de caractères (comme dans un programme informatique ou …

21 data-types lexer flex

5

Les passes d'analyse et de lexing séparées sont-elles une bonne pratique avec les combinateurs d'analyseurs?

Quand j'ai commencé à utiliser des combinateurs d'analyseurs, ma première réaction a été un sentiment de libération de ce qui semblait être une distinction artificielle entre l'analyse et lexing. Tout d'un coup, tout n'était que de l'analyse! Cependant, j'ai récemment rencontré cette publication sur codereview.stackexchange illustrant quelqu'un rétablissant cette distinction. …

18 parsing lexer parser-combinator

4

Écrire un lexer en C ++

Quelles sont les bonnes ressources pour écrire un lexer en C ++ (livres, tutoriels, documents), quelles sont les bonnes techniques et pratiques? J'ai regardé sur Internet et tout le monde dit d'utiliser un générateur de lexer comme lex. Je ne veux pas faire ça, je veux écrire un lexer à …

18 c++ compiler lexer

5

Venir avec des jetons pour un lexer

J'écris un analyseur pour un langage de balisage que j'ai créé (écrit en python, mais ce n'est pas vraiment pertinent pour cette question - en fait, si cela semble être une mauvaise idée, j'aimerais une suggestion pour un meilleur chemin) . Je lis sur les analyseurs ici: http://www.ferg.org/parsing/index.html , et …

14 python parsing lexer

1

Quelle est la procédure à suivre pour écrire un lexer basé sur une grammaire?

En lisant une réponse à la question Clarification sur les grammaires, les lexers et les analyseurs , la réponse a déclaré que: [...] une grammaire BNF contient toutes les règles dont vous avez besoin pour l'analyse et l'analyse syntaxique lexicale. Cela m'a semblé quelque peu étrange parce que jusqu'à présent, …

13 design design-patterns development-process grammar lexer

5

Analyse lexicale sans expressions régulières

J'ai regardé quelques lexers dans différentes langues de niveau supérieur ( Python , PHP , Javascript entre autres) et ils semblent tous utiliser des expressions régulières sous une forme ou une autre. Bien que je sois sûr que les regex sont probablement la meilleure façon de le faire, je me …

9 theory regular-expressions lexer

Questions marquées «lexer»