Приветствую! Есть задача: парсить 20 различных интернет-магазинов для последующего анализа, сами по себе сайты не сложные. При этом парсинг должен осуществляться ежедневно. Как и где лучше расположить эти 20 скриптов? В идеале для 1 интернет-магазина - 1 vps/vds сервер (это понятно, но накладно). Может кто сталкивался с похожей задачей, когда необходимо более 10 сайтов парсить и выдавать данные клиентам. Посоветуйте, что можно предпринять в этом случае, чтобы удешевить расходы на парсинг.
Из 20 интернет-магазинов через Селениум парсится 4, остальные без него. На одном vds сервере запустить одновременно несколько скриптов, как вариант, то да.
ubirust, сам парсинг не сильно ресурсоемкий процесс, там больше всего времени занимает ожидания ответов по сети, анализ может требовать больше. Но всё это в общем, а так, нужно делать замеры, искать узкое место и его уже оптимизировать.
В идеале для 1 интернет-магазина - 1 vps/vds сервер
Почему? Откуда это значение?
Разбить парсинг по очереди, а не асинхронно делать, и все готово. 20 парсингов в день - это более 1 часа на 1 магазин в день! Разве одного VPS не хватит?