Как научиться писать парсеры?

Question

[beduin01]

Есть очень нестандартные документы XML с нерегулярной структурой.
Есть набор тегов которые я ожидаю в них найти.
Целевые данные могут иметь произвольную вложенность и высокую вариативность в названиях. Некоторые данные могут быть вложенными.
Заранее определить структуру всех документов нельзя.
Вопрос какой подход стоит использовать? Я слышал что тут нужен аналог стейт-машины, но может еще есть подходы? И как вообще все должно быть организовано?

Answer 1

[tsarevfs]

XML парсим любой библиотекой. Получаем дерево разбора.
https://pep8.ru/doc/dive-into-python-3/14.html
Дальше начинаете обходить дерево и для каждога узла(node) проверять подходит ли он вам.
https://ru.wikipedia.org/wiki/%D0%9E%D0%B1%D1%85%D...
В функции проверки и должна быть вся магия. Возможно вы сможете придумать эвристическое правило от разных параметров. Например:
*путь от корня (root/part/segment/item)
*имя тега
*значения параметров тега
*имена тегов-детей
*...
При необходимости можно пытаться ускорить процесс, если о данных что-то известно. Так можно не обходить все дерево, а отбрасывать его части если мы поняли что это не то что нам нужно.

Если данных очень много и вариативность очень большая (например ищем рекламу на веб страницах) можно заняться машинным обучением. Это отдельная сложная тема выходящая за рамки вопроса.

Answer 2

[Antonio Solo]

Beautiful Soup

Comments

[asakasinsky]

Тогда уж — lxml, он пошустрее будет.

[Antonio Solo]

asakasinsky, суп умеет использовать lxml . только у меня с lxml были какие-то проблемы под вендой с установкой lxml

[asakasinsky]

Antonio Solo, давным-давно я ходил за бинарниками сюда. Глянул, вроде всё ещё актуально.

[Antonio Solo]

asakasinsky, спасибо, буду иметь ввиду