Как парсить с wildberries?

Появилась задача спарсить товары с wildberries. Нужно постоянно мониторить первую страницу определенной категории и, если есть новые товары, то отправлять на клиенту(в моем случае это телеграм). Дело в том, что проверять ссылку нужно каждые 5 секунд, а их более 500 штук, как можно это реализовать, чтобы сервер не блокировал запросы, использовать прокси? И нужно ли в принципе?
  • Вопрос задан
  • 678 просмотров
Решения вопроса 1
shurshur
@shurshur
Начнём с того, что 500 шт. каждые 5 с - это 100 запросов в секунду. Прокси будут баниться очень быстро при подобном трафике.

Далее, получение данных мегабыстро имеет смысл в автоматизированных системах торгов на фондовой бирже, а если это в телеграм человеку сливать, то он в любом случае будет реагировать намного медленнее этих 5 секунд. И зачем тогда так часто опрашивать? Если опрашивать с интервалом в 3 секунды, то товары будут приходить с опозданием в среднем 13 минут, максимум 25 минут, что для многих задач вполне приемлемо.

Советую поговорить с заказчиком ещё раз на тему того, что именно ему нужно.
Ответ написан
Пригласить эксперта
Ответы на вопрос 2
dimonchik2013
@dimonchik2013
...а ну-ка пыль сдуй отсюда...
делайте наглость по возрастающей

сначала без прокси, вдруг прокатит

потом с умом: там, поди, цена не каждые 5 сек меняется

ну и т.д.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
от 150 000 до 200 000 ₽
OnederX Москва
от 100 000 до 120 000 ₽
Кенарий Санкт-Петербург
от 120 000 до 250 000 ₽
21 сент. 2020, в 00:07
10000 руб./за проект
20 сент. 2020, в 23:49
10000 руб./за проект
20 сент. 2020, в 23:44
20000 руб./за проект