Я не думаю, что существует литература по написанию чего-то вроде flex.
Вам нужно что: получить на входе текст скрипта и правила, на выходе токены.
Значит нужен транслятор с динамическими правилами, которые задаются регэкспами. Парсим правила разбора текста, с помощью полученных правил и распарсенных регекспов, парсим текст, транслируем в токены. Я думаю, и многие наверняка со мной согласятся, что лучше dragon book вы не сможете ничего найти.