Создание лексического анализатора

Question

[mystdeim]

Требуется создать лексический анализатор на подобии lex/flex.
То есть на вход подаётся произвольный текст и правила выделения лексем с помощью регулярных выражений, на выходе поток токенов.
Не знаю как подойти к решению задачи, нужна толковая литература…

Answer 1

[NeonMercury]

Я не думаю, что существует литература по написанию чего-то вроде flex.
Вам нужно что: получить на входе текст скрипта и правила, на выходе токены.
Значит нужен транслятор с динамическими правилами, которые задаются регэкспами. Парсим правила разбора текста, с помощью полученных правил и распарсенных регекспов, парсим текст, транслируем в токены. Я думаю, и многие наверняка со мной согласятся, что лучше dragon book вы не сможете ничего найти.

Comments

[mystdeim]

Ага, драгонбук усиленно изучаю :)
Я правильно понимаю, что лекс строит по регэкспам ДКА (код на выходе у него жуть)?

[NeonMercury]

Если честно, то этого я не знаю, я с лексом и аналогами не разбирался. Когда интересовался этой темой, то сам писал интерпретаторы.

Answer 2

[VaiMR]

Посмотрите в сторону yacc или свободного аналога GNU Bison. Они позволяют строить лексические анализаторы на основе вашей собственной грамматики.

Comments

[mystdeim]

просто не могу готовые программы использовать, и чисто из спортивного интереса хочеться разобраться хорошо
yacc — это уже синтаксический анализатор

Answer 3

[tzlom]

читайте книгу дракона