Как интерпритатор при разбвивании на лексемы понимает, что пробел это лексема, а не разделитель?

Question

[Дмитрий Качуринец]

Вот есть к примеру такой код.
var myLexeme;
В этом коде 4 лексемы (var, пробел, myLexeme, точка с запятой), но как здесь интерпритатор понимает, что пробел в данном случае не разделитель, а лексема?

Comments

[alexalexes]

Интерпретатор в ходе синтаксического разбора при посимвольном проходе текста кода, руководствуясь графом синтаксического разбора (как наглядный пример, можно взглянуть на диаграммы Вирта, особенно, на реализации разбора чисел в разных системах счисления), при проходе символа пробела фиксирует состояние того, что обнаружена лексема var, из вершины графа этого состояния имеются дуги только на символы начала лексемы переменной - определяется тем самым то, что ожидается при чтении следующего символа.