Как правильно сделать парсер для Wildberries?

Question

[pablo_228]

Возникла потребность сделать парсер для всех товаров на площадке wildberries
Парсинг нужно сделать на Node JS и сохранять результат в MongoDB
По сути нужно спарсить эти данные:
id
цена
остатки по складам
Я сначала подумал что в этом нет особо ничего сложного, можно просто циклом пройтись по этому запросу меняя только page в query параметрах. Но возникла проблема, при указании page в query параметрах выше какого-то числа (условно поставить page=1000), то сервер возвращает просто пустой объект. Вот пример ответа. Но на самом сайте wb все корректно отображается.
Подскажите пожалуйста как правильно сделать парсер для wildberries.

Comments

[Иван Шумов]

Никак. Вас побанят

[pablo_228]

Иван Шумов, как тогда работают сервисы для аналитики?

[Иван Шумов]

pablo_228, у них api есть

[pablo_228]

Возможно так и есть, но я думаю что очень навряд ли.
Объясню почему.
В открытом доступе я не нашел данных по апи от wb, допустим предположим что оно доступно только для избранных.
Но как тогда получается, что на разных сервисах аналитики данные немного отличаются? Если бы было апи от wb то данные были бы у всех одинаковые.
Ну а еще вот на этом сайте прямым текстом написано что это сделано с помощью ботов)

[edward_freedom]

pablo_228, вряд ли те сервисы парсят инфу с одного ип

[pablo_228]

edward_freedom, я понимаю, меня интересует как это все сделать, если есть идеи буду рад услышать)

[edward_freedom]

pablo_228, надо изучать конкретный случай. Парсишь 100 страниц, потом переключаешь на другой прокси, меняешь юзер агенты, задержки

[Роман]

pablo_228, ну сделать очень просто:
1. Пишите анализатор(парсер) сайтов, которые дают списки бесплатных прокси
2. Прокси из полученных списков проверяете на работоспособность
3. Пишите парсер WB работающий через эти прокси. При обнаружении неработающего прокси исключаете его из списков. При уменьшении количества доступных прокси до вами определенного значения запрашиваете новые (п.п.1-2).