Какие инструменты для администрирования парсинга сайтов существуют?

Question

[Ринат Бакиев]

Всем привет!

Подскажите, пожалуйста, в какую сторону копать, что почитать для организации администрировании множества скриптов для парсинга сайтов (более 50)?

Comments

[sim3x]

А что нужно отслеживать?

[Ринат Бакиев]

sim3x: парсим данные. Там много параметров и у каждого сайта они свои

[sim3x]

Ринат Бакиев:
у грабберов мало параметров - упал, ошибка получения, проблема с проксей

Что нужно конкретно отслеживать?

[Ринат Бакиев]

вы в принципе все и перечислили + то ли "граббит"

[Stalker_RED]

Ринат Бакиев: Первые две может (и должен, имхо) контролировать автомат (менеджер задач), а может и третью тоже. То-ли грабит - если не получается написать какие-то автоматические тесты придется просматривать результаты (возможно выборочно). А зачем для этого какой-то спец софт?

Answer 1

[Nil3]

Здесь уже писали о scrapy
Команда этого проекта запустила платформу https://scrapinghub.com - панель управления и мониторинг спайдеров

Answer 2

[Dimonchik]

классика же

есть альтернатива от китайских товраищей, но самому с Скрапи лучше

Answer 3

[screen_sailor]

Crawl and monitor +1000 websites
https://stackoverflow.com/questions/19618735/crawl...

И вот что-то подобное, судя по описанию - The Crawler dashboard view shows you a much more in depth view of your current Scrapy Crawlers. Here you see breakdowns of response codes, machine load balances, and successful outbound Kafka messages.
scrapy-cluster.readthedocs.io/en/latest/topics/adv...