@ubirust

Как удешевить расходы на парсинг?

Приветствую! Есть задача: парсить 20 различных интернет-магазинов для последующего анализа, сами по себе сайты не сложные. При этом парсинг должен осуществляться ежедневно. Как и где лучше расположить эти 20 скриптов? В идеале для 1 интернет-магазина - 1 vps/vds сервер (это понятно, но накладно). Может кто сталкивался с похожей задачей, когда необходимо более 10 сайтов парсить и выдавать данные клиентам. Посоветуйте, что можно предпринять в этом случае, чтобы удешевить расходы на парсинг.
  • Вопрос задан
  • 139 просмотров
Решения вопроса 1
@bacon
В идеале для 1 интернет-магазина - 1 vps/vds сервер (это понятно, но накладно).
это ты какую дичь придумал, тут хватит одного самого простого vds, если ты конечно не selenium всё парсишь, да и то 20 это небольшой объем
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
InternetMaster
@InternetMaster
Интернет
В идеале для 1 интернет-магазина - 1 vps/vds сервер
Почему? Откуда это значение?

Разбить парсинг по очереди, а не асинхронно делать, и все готово. 20 парсингов в день - это более 1 часа на 1 магазин в день! Разве одного VPS не хватит?
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы