Как написать программу для отслеживания изменений на сайте?

Question

[Михаил Максимов]

Всем доброго времени суток!

Существует интернет-портал, на котором расположен реестр организаций. Размещение в виде таблицы. Изменения в реестре происходят по мере изменения ситуации на рынке. Вступления/исключения и т.д.

Куда гуглить и что изучать, чтобы написать программу, которая бы мониторила изменения на сайте, а потом могла бы обрабатывать эту информацию? На чем лучше писать? Есть ли уже готовые решения для таких целей?

Answer 1

[sim3x]

beutifulsoup - не используем

Если сервер норм - он будет отдавать время последнего изменения
Если нет
requests
забираем страницу
делаем хеш с содержимого, проверяем изменилась ли страница
делаем БД (набор файлов json, yaml)

scrapy
если страниц много (тысячи)
большу часть делает сам

Парсер хтмл - lxml

Comments

[kossav]

Почему "beutifulsoup - не используем"?
Что с ним не так?

[sim3x]

kossav, не дает никаких плюшек
имеет свои проблемы

Answer 2

[Олег Беж]

Пишем парсер на питоне, парсим весь сайт, сохраняем в удобоваримом виде, будь то бд или таблицы.
Для парсинга есть requests, beautifulsoap etc... Потом либо по расписанию, либо ручками запускаем снова парсер, только уже не сразуохраняем данные, а сравниваем с нашей готовой базой и, в зависимости от целей, вносим изменения в нашу бд или сохраняем изменения в другую таблицу. Дальше уже таскаем инфу как душе угодно.