Как правильно парсить интернет-магазины для мониторинга цен?

Question

[irekbikmullin]

Нужно регулярно парсить интернет магазины для мониторинга цен.Сайтов около 10,а товаров 500 000.Если парсить 1 страницу раз в 1 секунду,то в день можно обойти максимум 84400 товаров.Чтобы обойти все товары потребуется минимум 6 дней.Будет ли уместно увеличить количество запросов и не будет ли это лишней нагрузкой на сайт?Сайты не предоставляют xml каталоги и api.Как с этим справляются сервисы мониторинга цен?Может кто-то с этим сталкивался или знает где можно об этом почитать?

Comments

[alex-1917]

что за сайты-то? если общеизвестные, то есть сервисы, где свежие прайсы в выкладке ежеденевно!
с другой стороны,если магазины малоизвестные, то на кой ляд они вам сдались? тем более что скорее всего они уже сами где-то парсят)))

[irekbikmullin]

Сайты нишевые

[alex-1917]

irekbikmullin, ну тогда гуглите найди то не знаю что секретный вы наш...

Answer 1

[Александр Денисов]

https://habr.com/ru/post/428814/
Подойдёт?

Comments

[alex-1917]

не, вот это лучше - https://habr.com/ru/company/pvs-studio/blog/461255/

Answer 2

[АртемЪ]

Будет ли уместно увеличить количество запросов и не будет ли это лишней нагрузкой на сайт?

Зависит от сайта - для некоторых это не критично, некоторые сайты может и положить большая нагрузка, некоторые вас тупо занесут в блэклист.

Answer 3

[Игорь Вахненко]

Сервисы мониторинга цен используют многопоточность — это ускоряет процесс во много раз.
Лишней нагрузкой на сайт не будет, - крупные сайты не заметят нагрузки уровня 20 запросов в секунду.
Не все сайты дружат с многопочностью, - например, с мониторингом цен на Wildberries проблем нет, а вот с Озоном всё сложнее, там без браузера никак (и всё работает во много раз медленнее)
В среднем, оптимальный вариант это выполнять запросы поочередно, — да, около 1 секунды на запрос в среднем, но зато никаких проблем не будет.

Я могу предложить такой вариант мониторинга цен конкурентов по ссылкам:
https://price-monitoring.ru/