Максим, ну, токены это совсем просто - пробел, скобка, число, литерал и т.д. А вот дальше пойдет обратная польская нотация или ещё что, вот вы и откажетесь от затеи
Максим, не знаю, но знаю, что магии не существует. Конкретно в этой статье, похоже, описан некий способ визуального программирования. По сути те же яйца, только в профиль.
Не советую так делать, потому что начинать придётся с описания литерала, числа и т.д., какие они символы могут содержать в каком порядке, количестве.
И окажется, что сначала вам надо будет определить цифру, как символ 0-9 (простой вариант). Далее число состоит из одной или до 10 цифр (условно). И вот это вот махина будет разбирать каждое число, что будет жутко медленно.
Можно пойти ещё дальше - сделать сеть, которая напишет за вас язык описания, на котором вы сможете описать синтаксис. На сеть эту придётся выделить 86 млрд нейронов и 25 лет обучения, а сколько это будет по деньгам и электричеству мне даже представить страшно.
В общем, гораздо лучше просто разобрать код на токены, которые расфасовать в синтаксическое дерево, затем перевести в байт-код, и его уже исполнять - либо интерпретатором, либо скомпилировать.
