Как мне реализовать оператор ветвления так, чтобы он поддерживал вложенность.
Стеком, конечно. Для этого, обычно, используется т.н. стек управления или управляющих структур. Он существует только во время компиляции. Точный механизм не помню, но то ли кладем в этот стек код операции то ли адрес точки ветвления для вычисления смещения ветвления то ли все вместе.
И ещё, не подскажите ли, как разбить код на функции? А то функция eval-forth-program слишком большая и сложная.
Традиционно форт реализуется с использованием т.н. шитого кода. Так же есть и вариации шитого кода и другие механизмы. В целом логика такая: есть список - это словарь слов. Логика интерпретатора крайне проста:
- Получить следующий символ из входного потока
- Если ноль или конец строки - выход
- Если не разделитель - перейти к следующему символу
- Если разделитель - искать слово в словаре
- Если слово найдено - выполнить его
- Не найдено - сообщить об ошибке
Далее, организовываем два стека - основной, возврата, переменную STATE (интепретация/компиляция), основной словарь или список словарей, минимальный набор слов для компиляции - двоеточие, точка с запятой и далее по мере надобности все остальное. Главное запустить интерпретатор, от него компилятор, а далее уже можно средствами самого форта реализовать остальной минимальный набор слов, затем учим форт компилировать и собирать самого себя и получаем самодостаточную систему. Рекомендую книги Лео Броуди к прочтению и регистрацию на форт-форуме - там тоже очень много материалов по теме реализации форта )