Как правильно реализовать рекурсивную подсветку синтаксиса в Sublime Text3?

Question

[Алексей Шпак]

Пишу подсветку синтаксиса для языка QSP (qsp.su) и какое-то время несмотря на трудности удавалось находить решения различных моментов. Однако недавно я столкнулся с трудностями, которые проистекают от моего непонимания того, как работает рекурсивная подсветка.

У меня определены некоторые контексты: для комментариев, меток, строк и т.д. Все они прекрасно работают и всё отлично подсвечивается. В строках возможно встраивание подвыражений, например:
*pl "Текст <<subex+435>>"
В этих вложенных выражениях я решил подсвечивать код, как весь прочий, т.е. с уже имеющимися контекстами за некоторыми исключениями. Вот как я это сделал:

strings:
    - match: '"'
      push:
        - meta_scope: string.qsp
        - match: '""'
          scope: string.qsp
        - match: '"'
          pop: true
        - include: subexpression
        
    - match: "'"
      push:
        - meta_scope: string.qsp
        - match: "''"
          scope: string.qsp
        - match: "'"
          pop: true
        - include: subexpression

  subexpression:
    - match: '<<'
      scope: entity.name.function entity.name avs.markup
      push:
        - match: '>>'
          scope: entity.name.function entity.name avs.markup
          pop: true
        - include: subex

  subex:
    - include: operacion
    - include: sysvar
    - include: functions
    - include: strings
    - include: numeric

На первый взгляд всё вполне адекватно работало и подсвечивалось, пока я не начал добавлять подсветку типичных синтаксических ошибок в контекст operacion. Тут обнаружилось странное поведение. Не все правила, которые работают в основном коде, работают при попытке использовать контексты для подвыражений. Либо меняется порядок их применения, либо я совсем чего-то не понимаю.

Кто-нибудь может показать пример рекурсивной подсветки для Sublime Text 3, или дать ссылку на что-нибудь почитать по этому вопросу? Официальную документацию по ST я читал, она мне не особо помогла.

Если есть желание поковыряться прямо в файле подсветки, он лежит здесь: https://github.com/AleksVersus/JAD_for_QSP/tree/ma...

Comments

[Алексей Шпак]

Кое-что начинает проясняться. Для рекурсивной подсветки работают только правила, которые не содержат конструкций с lookbehind и lookahead. Например, контекст operacion сейчас имеет вот такой вид:

operacion:
    # ошибка записи операторов операций без правого операнда
    - match: ({{left_operand}}\s*?)\K(\!|\+|-|\/|\*)(?!\s*?{{right_operand}})
      scope: invalid.illegal.expected-mapping-key.qsp avs.error avs.wrongoperator1
    # ошибка записи операторов больше-равно и меньше-равно без правого операнда
    - match: ({{left_operand}}\s*?)\K(<=|>=)(?!\s*?{{right_operand}})
      scope: invalid.illegal.expected-mapping-key.qsp avs.error avs.wrongoperator2
    # ошибка записи операторов больше-равно и меньше-равно без левого операнда или отдельной строкой
    - match: (^\s*?|\&\s*?|\(\s*?|\{\s*?|\[\s*?)\K(<=|>=)(?=\s*?{{right_operand}}*)
      scope: invalid.illegal.expected-mapping-key.qsp avs.error avs.wrongoperator3
    # подсветка правильно записанных операторов больше-равно и меньше-равно
    - match: (<=|>=) # допустимые в QSP => и =< в данной подсветке не поддерживаются
      scope: support.function.qsp avs.operacion1
    # ошибка записи операторов > < =  без правого операнда
    - match: ({{left_operand}}\s*?)\K(<|>|=)(?!\s*?{{right_operand}})
      scope: invalid.illegal.expected-mapping-key.qsp avs.error avs.wrongoperator5
    # ошибка записи операторов больше-равно и меньше-равно без левого операнда или отдельной строкой
    - match: (^\s*?|\&\s*?|\(\s*?|\{\s*?|\[\s*?)\K(<|>|=)(?=\s*?{{right_operand}}*)
      scope: invalid.illegal.expected-mapping-key.qsp avs.error avs.wrongoperator6
    # подсветка правильно записанных операторов > < =
    - match: (<|>|=)
      scope: support.function.qsp avs.operacion5 
    # подсветка всех операторов для операций, в т.ч. скобок и прочего
    - match: '(?i:(!|\:|\;|\[|\]|\(|\)|\&|\+|\/|\*|=|-|(>|<)=?|=?(>|<)))'
      scope: support.function.qsp avs.operacion9

Все match работают для подсветки основного кода, но когда дело касается рекурсивной подсветки, работают только match для которых определены scope: avs.operacion5 и avs.operacion9 (ещё avs.operacion1). Но почему так происходит, мне не понятно, ведь основной код тоже как бы не основной, а является внедряемой подсветкой по схеме push/include.

[Алексей Шпак]

Так, прояснилось ещё немного. Дело не в lookbehind и lookahead, так как некоторые match, содержащие их, прекрасно работают. Возможно дело в ключе \K, благодаря которому удалось реализовать lookbehind. Возможно часть регулярки до ключа захватывает основной код, и этот код уже не сопоставляется с таким же match, так как уже был им разобран. Поэтому встроенное подвыражение не разбирается рекурсивно теми же match. Но это мне кажется слишком сложным.

[Алексей Шпак]

Чего я действительно не понимаю, это как работает подсветка со стеками.

Вот например, написан у меня контекст main:
```yaml
main: