На чем писать модульный парсер с фронтендом?

Question

[misterkust]

Хотелось бы написать модульный серверный парсер, который будет мониторить
Обновление определенных сайтов (1 модуль - 1 сайт) и собирать однотипную инфу с них
Складывая ее в бд, думаю одной таблицы хватит. Плюсом хотелось бы удобную веб-морду для пользователей
С гибким доступом к собранным данным.
Рассматриваю mongoDB, python или nodeJS.
Что больше подходит и какие инструменты/фреймворки посоветуете?

Answer 1

[Lici]

Php?

Answer 2

[Евгений Софонов]

Если нет желания делать велосипед, то - grablib.org - все доступно и понятно, многое уже в коробке и на Python или lxml.cssselect

Answer 3

[Дмитрий Снегирев]

В принципе не сильно важно python или nodeJS. Выберите то что больше нравится.
Я так понимаю что должен быть сайт + скрипт который постоянно запущен и мониторит. Работает с БД и соответственно управление им будет происходить через БД.

Также нужно определиться насколько "реалистично" он парсит страницы. Выполняет ли на них JS (а щас бывает данные подгружаются через JS).

Comments

[Дмитрий Б]

Зачем выполнять JS, если можно посмотреть источник данных и качать прямо из него под видом JS-скрипта

[volkhin]

@PiloTeZ если логика нетривиальная то проще выполнить готовый js не разбираясь в нем

[Дмитрий Б]

@volkhin зачем там разбираться, посмотрел куда запрос пошёл через инспектор и всё ) Чаще всего на порядок удобнее