Как парсить с wildberries?

Появилась задача спарсить товары с wildberries. Нужно постоянно мониторить первую страницу определенной категории и, если есть новые товары, то отправлять на клиенту(в моем случае это телеграм). Дело в том, что проверять ссылку нужно каждые 5 секунд, а их более 500 штук, как можно это реализовать, чтобы сервер не блокировал запросы, использовать прокси? И нужно ли в принципе?
  • Вопрос задан
  • 12280 просмотров
Решения вопроса 1
shurshur
@shurshur
Начнём с того, что 500 шт. каждые 5 с - это 100 запросов в секунду. Прокси будут баниться очень быстро при подобном трафике.

Далее, получение данных мегабыстро имеет смысл в автоматизированных системах торгов на фондовой бирже, а если это в телеграм человеку сливать, то он в любом случае будет реагировать намного медленнее этих 5 секунд. И зачем тогда так часто опрашивать? Если опрашивать с интервалом в 3 секунды, то товары будут приходить с опозданием в среднем 13 минут, максимум 25 минут, что для многих задач вполне приемлемо.

Советую поговорить с заказчиком ещё раз на тему того, что именно ему нужно.
Ответ написан
Пригласить эксперта
Ответы на вопрос 4
dimonchik2013
@dimonchik2013
non progredi est regredi
делайте наглость по возрастающей

сначала без прокси, вдруг прокатит

потом с умом: там, поди, цена не каждые 5 сек меняется

ну и т.д.
Ответ написан
Комментировать
allaga
@allaga
Selenium
Ответ написан
Комментировать
skvernoslov
@skvernoslov
Не совсем по теме вопроса, требовался парсер количества покупок товара для wildberries, если кому надо нашёл это решение и используем его https://blog.ivru.net/?id=258 остаётся дописать к нему крон, чтобы следить за обновлением числа покупок товара.
Ответ написан
Недавно реализовал похожую задачу - обход по категориям с поиском позиций, суть в том, что WB отдает все в виде JSON. Задача сводится к тому, что формировать запрос для JSON и забирать от туда данные. Для себя выставил задержку в 1мс на запрос. Блокировки нет, обходит 3 категории за полчаса. Соответственно 500 ссылок - возможно будет исполняться менее секунды.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы