Здравствуйте.
Есть парсер, на python scrapy. Парсит все товары с магазина. Все работает, все ништяк, парситься каждая страница, НО медленно. Каждый товар парсился примерно 3-4 секунды (там переходит на страницу товара). Пробовал быстрее - упирается в лимиты и выводит ошибку. Поигрался с настройками, ускорил до примерно 1 - 2 секунды / продукт. И то это много чтобы распарсить целый магазин. Погуглив понял, что нужно использовать proxy чтобы сайт не забанил.
Так вот собественно вопросы, какой тип парсера нужен? Сколько нужно proxy (почти не нашел информации)? Какой сервис посоветуете? ...
Где можно об этом всем почитать ?
Простой
Простой
