Как удешевить расходы на парсинг?

Question

[ubirust]

Приветствую! Есть задача: парсить 20 различных интернет-магазинов для последующего анализа, сами по себе сайты не сложные. При этом парсинг должен осуществляться ежедневно. Как и где лучше расположить эти 20 скриптов? В идеале для 1 интернет-магазина - 1 vps/vds сервер (это понятно, но накладно). Может кто сталкивался с похожей задачей, когда необходимо более 10 сайтов парсить и выдавать данные клиентам. Посоветуйте, что можно предпринять в этом случае, чтобы удешевить расходы на парсинг.

Comments

[Алексей Уколов]

А что у вас сейчас генерирует расходы-то?

[Jack444]

1 VPS с 2-4 ядрами спокойно справится с 20 парсерами

Answer 1

[Dr. Bacon]

В идеале для 1 интернет-магазина - 1 vps/vds сервер (это понятно, но накладно).

это ты какую дичь придумал, тут хватит одного самого простого vds, если ты конечно не selenium всё парсишь, да и то 20 это небольшой объем

Comments

[ubirust]

Из 20 интернет-магазинов через Селениум парсится 4, остальные без него. На одном vds сервере запустить одновременно несколько скриптов, как вариант, то да.

[Dr. Bacon]

ubirust, сам парсинг не сильно ресурсоемкий процесс, там больше всего времени занимает ожидания ответов по сети, анализ может требовать больше. Но всё это в общем, а так, нужно делать замеры, искать узкое место и его уже оптимизировать.

Answer 2

[Totem]

В идеале для 1 интернет-магазина - 1 vps/vds сервер

Почему? Откуда это значение?

Разбить парсинг по очереди, а не асинхронно делать, и все готово. 20 парсингов в день - это более 1 часа на 1 магазин в день! Разве одного VPS не хватит?