Удобен ли был бы декларативный метод парсинга?

Question

[Viktor Vsk]

Был бы кому-то удобен инструмент, с помощью которого можно было бы, например, спарсить определенные страницы с хабра, включая внутренний контент, используя такие входны данные:

{
  "__url__": "'http://habrahabr.ru/page{{1,1,5}}/'",
  "posts": {
    "__iterator__": ".post",
    "name": "{{.post_title}}",
    "content": {
      "__follow__": "{{.post_title | first | attr_href}}",
      "post_body": "{{.content}}",
      "author": "{{.author > a}}",
      "comments": "{{#comments}}"
    }
  }
}

А на выходе получить что-то вроде: pastie.org/9799295
Искал подобные инструменты, не нашел. Самое близкое по смыслу - это, как я понимаю, XSLT шаблоны.
И все ли очевидно во входных параметрах? css\xpath селекторы, пейджинг, применение фильтров к полученному результату.

Если действительно кажется полезным, напишите, пожалуйста, это ускорит запуск гема, написание документации и запуск тестового сервиса

Answer 1

[Армянское Радио]

Самый клевый синтаксис автоматического доступа к странице был бы sql-образным.

Comments

[Viktor Vsk]

Видел такой вариант на гитхабе, правда заброшенный несколько лет назад и не помню, на каком языке.
По сути, любые сложные конструкции (запросы) можно реализовать через xpath.

Но на мой взгляд, 80% результата можно добиться css селекторами (что намного легче, и с использованием DOM-парсеров работает в HTML, XML, а так же невалидных страницах), и еще 10-15 процентов охватить "фильтрами", которые можно расширять самому (например, для очистки html контента от скриптов, ссылок, изображений...)

Answer 2

[Ришат Кадыров]

Многие сайты много чего генерируют с помощью js.
Если ваш гем будет анализировать не тупо исходный код страницы, а именно лазить по полностью сгененрированному дом-дереву, это будет очень круто.

Comments

[Армянское Радио]

Вот именно из-за этого я в итоге дошел до использования QWebView из QT, который просто позволяет запускать js в контексте страницы, и из 'этого js вызывать слоты QT-приложения. Это самый убойный способ, но требует, понятное дело, полноценного браузера.