Как внутри работает Flex или Lex?

Question

[doublench21]

Как именно работает лексер внутри ? Понял, что он строит две таблицы, одна из которых это таблица переходов, а вторая, сопоставляет состоянию - действие. А как именно работает сам цикл я так и не понял. Может кто сможет пояснить ?

Answer 1

[Rsa97]

Нет, задача лексера - преобразовать поток символов (текст программы) на входе в поток лексем, как правило расширенных, на выходе. Например:

1 + 1 * 2 => <число(1)> <плюс> <число(2)> <умножить> <число(2)>

flex по формальной грамматике строит лексер, то есть выдаёт код на C, содержащий определение функции yylex(), при каждом вызове которой выдаётся следующая лексема.
Реализация лексера может быть различной, часто используются конечные автоматы.

Comments

[doublench21]

Либо я вопрос неправильно задал, либо я не пойму. Я знаю что такое лексический анализатор и знаю что на выходе даёт мне Lex. Я лишь хочу понять, как именно работает этот самый Си/С++ код выдаваемых Lex/Flex.

[Rsa97]

doublench21: Работает он как конечный автомат. Есть набор возможных состояний, одно из них - начальное (0), некоторые - допустимы как завершающие. Также определён набор символов, принимаемых автоматом на входе.
Изначально автомат в начальном состоянии, на входе первый символ.
Автомат читает символ и проверяет, есть ли переход из текущего состояния для этого символа. Если есть, то происходит переход на это состояние и к следующему символу, возможно с выполнением некоторых дополнительных действий, например формированием строки или числа. Такой цикл повторяется, пока есть переход для пары (состояние, символ).
Если такого перехода нет, то автомат проверяет, является ли текущее состояние допустимым для завершения. Если да, то всё в порядке, на выход поступает лексема, соответствующая конечному состоянию, если нет - то лексема ошибки.