JavaScript — регулярное выражение для типа данных `tuple` в Python?

Question

[HypeEditor]

Строю стандартный лексер на регулярных выражениях используя TypeScript.

Задача такая: входной в лексер Python код нужно разбивать на токены 3-х типов: empty (то есть пустой символ), string (любой текст не включающий круглые скобки ()) и tuple (то есть любой текст, заключённый в круглые скобки (x: int, y: str)).
Тип токенов tuple предназначен для для кортежей аргументов функций в Python, то есть в коде:

def foo(bar: int, baz: str) -> tuple[str, str]:
    retrun ('Hello', 'world!')

Текст "(bar: int, baz: str)" и "('Hello', 'world!')" будут идентифицированы как тип tuple.

И так вопрос: Какой шаблон регулярного выражения нужно использовать для типа 'tuple'?

Comments

[Алексей Уколов]

Лексеры обычно не на регулярках делают, а посимвольно на конечных автоматах.

[Roman Kitaev]

круглые кавычки

[Roman Kitaev]

P.S. Мне очень интересно, как ты на регулярках будешь отличать ("hello") — str от ("hello",) — tuple от ("hello" for _ in y) — generator от (("hello" for _ in y)) — generator от (("hello" for _ in y),) — tuple[generator] от ("hello" "world") — str

[Rsa97]

Дело лексера - разбить входной поток на минимальные лексемы.
Для кода

def foo(bar: int, baz: str) -> tuple[str, str]:
    retrun ('Hello', 'world!')

лексер должен выдать что-то наподобие

<T_INDENT, 0>, <T_DEF>, <T_ID, foo>, <T_LEFT_BRACKET>,
<T_ID bar>, <T_COLON>, <T_ID int>, <T_COMMA>, <T_ID INT>, 
<T_COMMA>, <T_ID baz>, <T_COLON>, <T_ID str>, <T_RIGHT_BRACKET>,
<T_ARROW>, <T_ID tuple>, <T_LEFT_SQUARE_BRACKET>,
<T_ID str>, <T_COMMA>, <T_ID str>, <T_RIGHT_SQUARE_BRACKET>,
<T_COLON>, <T_INDENT, 4>, <T_ID return>, <T_LEFT_BRACKET>,
<T_STRING Hello>, <T_COMMA>, <T_STRING world!>, <T_RIGHT_BRACKET>

Лексер не должен выделять tuple, это задача парсера. Именно парсер на основе синтаксиса языка и потока лексем строит AST-дерево, выделяя смысловые единицы.

[HypeEditor]

Roman Kitaev, мне не нужно отличать что-то от чего-то, мне нужно получить все объекты, заключённые в круглые скобки. Ты точно также как и mayton2019 не понял моей задумки, я в вопросе описал:

tuple (то есть любой текст, заключённый в круглые скобки (x: int, y: str)).

[HypeEditor]

Rsa97, мне не нужно разбивать код на минимальные лексемы, наоборот, мне нужно разбивать его на 3 сложных, как я описал в вопросе, перечитай шапку, будь добр.

[Roman Kitaev]

HypeEditor, в чём тогда вопрос? \(.*\) и готово

[mayton2019]

HypeEditor, я отвечу. Ты поразительным образом смешал в топик JavaScript, Python, TypeScript, лексер, регулярные выражения. И обижаешся что никто из сообщества qna не понял твоей задумки.

Регулярки из плоского текства выделяют группы символов (groups) по шаблону.

Парсеры строят AST по грамматике наподобие:

<token> ::= <empty> | <string> | <tuple>
.....
<tuple> ::= '(' <tuplebody> | <arglist> ')'
<tuplebody> ::= ....

Вот выбирай. Поменьше фантастических идей. И побольше прагматизма.

[Rsa97]

HypeEditor, Тогда вам не подходят регулярные выражения. Они не умеют разбирать вложенные скобки, да ещё с учётом того, что скобки могут быть в строке.
('Пример)', ('вложенных (', 'скобок :-((('))

[HypeEditor]

Roman Kitaev, Благодарю

[HypeEditor]

mayton2019, на вопросы надо отвечать опираясь не на топики, а на заголовок и описание вопроса. Любой, кто хоть как-то разбирается в указанных в шапке тамах, суммет понять, что я хотел. Мне не нужно рассказывать как работает парсер, монк)

Answer 1

[mayton2019]

Никакие регулярки в лексерах не надо использовать. Лексер-парсер - предполагает что вы берете генератор трансляторов (Yacc/Bizon/Antlr/JavaCC) описываете грамматику на специальном языке типа EBNF и получаете готовый код на JS или Python.

Регулярки здесь вообще не причем.