Как назвать направление в программировании, занимающееся алгоритмами парсинга/разбора JSON, XML, др. языков?

Question

VZVZ @VZVZ

Reverse-Engineer, Software Developer, Architect

Как назвать направление в программировании, занимающееся алгоритмами парсинга/разбора JSON, XML, др. языков?

Разумеется, я говорю не о тех случаях, когда берут готовую библиотеку вроде Json.NET и что-то там парсят.
И не о тех случаях, когда нужно распарсить что-то в рамках конкретной задачи, и его тупо парсят регуляркой или через IndexOf/Substring.

Говорю я именно о тех случаях, когда пишут алгоритм разбора, полностью поддерживающий некий язык. Как тот самый Json.NET. Или скажем для интерпретатора, компилятора или IDE. Или для браузерного движка.

Вопрос задан более трёх лет назад
362 просмотра

Комментировать

Подписаться 1 Оценить Комментировать

Пригласить эксперта

Ответы на вопрос 2

1 комментарий

14 комментариев

VZVZ @VZVZ Автор вопроса

Это я уже в курсе, и про 3 этапа анализа, и про книгу.
Вот только не пойму, чем различаются этапы. Скажем вот в описанном здесь алгоритме:
Хорош ли мой подход к созданию своего алгоритма движка разбора JSON, XML, HTML, CSS? А что насчет разбора кода на ЯП?
какие этапы анализа он включает в себя?

Написано более трёх лет назад
abcd0x00 @abcd0x00

Вот только не пойму, чем различаются этапы.

Лексический анализатор преобразует текст в поток лексем (пары (тип, значение) ). Синтаксический анализатор преобразует поток лексем в синтаксическое дерево (любая арность там). Семантический анализатор преобразует синтаксическое дерево в набор действий.

Между лексемами и синтаксическим деревом - один набор правил. А между синтаксических деревом и набором действий - другой набор правил.

Написано более трёх лет назад
VZVZ @VZVZ Автор вопроса

abcd0x00: а если у меня сразу все идет в дерево (скажем, DOM-дерево)?
Есть цикл, обходящий символы, в нем конечный автомат - switch, и вот в case'ах прямо сразу создаются объекты классов, таких, как HtmlDocument, HtmlElement, элементы запихиваются в коллекции childNodes и т.д.

Написано более трёх лет назад
abcd0x00 @abcd0x00

VZVZ: ну, это лексический анализ. Остальная информация известна, поэтому анализ не требуется.

Написано более трёх лет назад
VZVZ @VZVZ Автор вопроса

abcd0x00: спасибо, а почему синтаксический не нужен? С семантическим вроде понятно - потому что это не ЯП.

Написано более трёх лет назад
abcd0x00 @abcd0x00

VZVZ: синтаксический был бы нужен, если бы надо было установить, например, правильная ли последовательность полученных узлов. К примеру, ты ожидаешь (текст, текст, текст, картинка, текст), а поступает (текст, текст, картинка, текст, текст).
Множество всех цепочек, которые ты ожидаешь, образует язык.

Написано более трёх лет назад
VZVZ @VZVZ Автор вопроса

abcd0x00: т.е. после лексического анализа я уже имею AST, а синтаксический анализ выявляет в нем, скажем, вот такие ошибки:
private void Foo()
{
class Bar // класс запихнули в метод, а надо наоборот
{
}
}
Верно?
Но почему это не делают сразу при лексическом анализе?

Написано более трёх лет назад
abcd0x00 @abcd0x00

VZVZ: после лексического анализа у тебя есть только поток лексем. Синтаксический анализ заканчивается построением синтаксического дерева.

Но почему это не делают сразу при лексическом анализе?

Потому что лексем нет.
Ты ожидаешь (текст, текст, текст, картинка, текст), но при этом даже первый текст не получил.
При этом ожидать можно сотню разных цепочек (язык).

Написано более трёх лет назад
VZVZ @VZVZ Автор вопроса

abcd0x00: что такое "поток лексем" и зачем он нужен?
Я сразу в DOM-дерево строю, это можно считать синтаксическим анализом?

Написано более трёх лет назад
abcd0x00 @abcd0x00

VZVZ: ничего ты не строишь, ты просто переводишь входной поток символов в поток лексем (узел такой, узел другой и так далее), а потом поток лексем - в выходной поток символов.
Если неправильное DOM-дерево подать, он не сможет определить, что оно неправильное. А синтаксический анализатор сможет.

Написано более трёх лет назад
VZVZ @VZVZ Автор вопроса

abcd0x00: в каком смысле неправильное?
С незакрытыми тэгами? Сможет.
Или вот такое?
<body>
<html>
</html>
</body>
Тоже сможет в принципе. Я могу каждый узел перед добавлением проверять (по родителям и др). Что это тогда?

Написано более трёх лет назад
abcd0x00 @abcd0x00
VZVZ: ну, давай код вот для этого
<a>text<a>text</a>text<a>text</a>text</a>
Написано более трёх лет назад
VZVZ @VZVZ Автор вопроса
abcd0x00: ладно. Вообще-то я не спорю. Просто я не понимаю, как архитектурно отделить лексический анализ от синтаксического, чтобы не валить все в кучу спагетти.
Как должен выглядеть поток лексем, полученный из вашего "этого", чтобы с ним потом мог легко работать синтаксический анализатор?
Вот так сойдет?
Массив строк:
["<a>", "text", "", "<a>", "text", "</a>", "", "text", "<a>", "text", "</a>", "", "text, "</a>"];

Опыта у меня очень мало, поэтому сам оценить пока не могу.
Написано более трёх лет назад
abcd0x00 @abcd0x00

VZVZ: лексема - это пара (тип, значение) или (имя, нагрузка).
Вот два фрагмента:
В первом есть закрывающая угловая скобка
<a>text
поэтому получится
(<открывающий тег>, "a"), (<текст>, "text")

Во втором нет закрывающией угловой скобки, есть пробел
<a text
поэтому получится
(<открывающий тег>, "a"), (<атрибут>, "text")

Дальше всё точно так же разбирается. В результате получается поток лексем, где лексема - это пара. И вот этот поток уже подаётся в синтаксический анализатор. А тот уже определяет, как эти лексемы могут быть расположены.

Написано более трёх лет назад

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы

Python

+1 ещё

Средний
Почему в Python последовательность append-ов суммируется в O(n), а не в O(n logn)?
- 1 подписчик
- вчера
- 100 просмотров
2

ответа
PHP

+1 ещё

Простой
Как корректно распределить сумму внутри элементов массива?
- 1 подписчик
- 22 нояб.
- 89 просмотров
1

ответ
Программирование

+1 ещё

Простой
Что делать с переполнением дополнительного кода числа после умножения?
- 1 подписчик
- 21 нояб.
- 85 просмотров
2

ответа
Программирование

+1 ещё

Простой
Как доказать что мы действительно не пропустим такую пару i,j которая дает правильный ответ в методе двух указателей?
- 1 подписчик
- 14 нояб.
- 164 просмотра
2

ответа
Парсинг

Простой
Как найти токен на Rutube?
- 1 подписчик
- 10 нояб.
- 90 просмотров
0

ответов
Программирование

+1 ещё

Простой
Как исправить ошибку при прошивке esp32?
- 1 подписчик
- 10 нояб.
- 107 просмотров
0

ответов
Windows

+3 ещё

Средний
На Windows 10 не работают cgi-скрипты?
- 1 подписчик
- 09 нояб.
- 172 просмотра
1

ответ
WordPress

+1 ещё

Средний
Парсинг с сайта на wordpress?
- 1 подписчик
- 05 нояб.
- 121 просмотр
0

ответов
Python

+2 ещё

Простой
Как выйти из бесконечной работы браузера при парсинге через Selenium?
- 1 подписчик
- 05 нояб.
- 98 просмотров
1

ответ
Алгоритмы

Простой
Где можно посмотреть примеры алгоритмов рекомендаций?
- 1 подписчик
- 05 нояб.
- 124 просмотра
1

ответ
Показать ещё Загружается…

Программист C

Wanted. • Санкт-Петербург

До 250 000 ₽

Разработчик программного обеспечения

Kravt Robotics • Казань

До 135 000 ₽

Программист Delphi

Базис-Центр • Коломна

от 30 000 ₽

Аудит и поддержка проекта внедрению виртуальной архитектуры (АСУ ТП)

25 нояб. 2024, в 03:04

500000 руб./за проект

Сделать простой лендинг

25 нояб. 2024, в 02:45

2000 руб./за проект

Изображения на главную страницу в стиле Jetton и 1вин

25 нояб. 2024, в 00:22

12000 руб./за проект

Answer 1 · 2016-02-25 20:43:55

Советую на досуге исходники https://github.com/deadalnix/SDC почитать. Весьма простые и все есть.

Можете еще эту штуку глянуть www.volt-lang.org/doc/volt.html#lexical

Answer 2 · 2016-02-27 09:44:06

Лексический анализ -> синтаксический анализ -> семантический анализ.

Теория синтаксического анализа, перевода и компиляции.
Альфред Ахо и Джеффри Ульман.

Как назвать направление в программировании, занимающееся алгоритмами парсинга/разбора JSON, XML, др. языков?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт