Парсинг цен с Wildberries на Java?

Question

[Тимур Сергеев]

Привет!
Пилю телеграм бота, который будет присылать уведомления при изменении цены на выбранные товары на сайте wildberries.ru. В принципе, готовый и рабочий код уже есть, бот работает. Но проблема в том, что он реализован при помощи Selenium и ChromeDriver, то есть каждый отдельный товар открывается в новом окне гугл хрома, и я боюсь, что при высокой нагрузке может:
1. забанить вб из-за слишком частых обращений;
2. компьютер не вытянет нагрузку (в качестве сервера у меня работает старенький mac mini с 16 гб RAM).
Вопрос, есть ли какие-то другие, более оптимальные и масштабируемые пути парсить цены с вб? Язык Java.

Answer 1

[Андрей]

Я бы больше озаботился первым пунктом. Потому как современный парсинг озонов и вб ой как не прост. Очень быстро они даже самые хитрые схемы вычисляют. Во всяком случае Озон. Думаю, с ВБ ситуация схожая.

Answer 2

[al_gon]

Proxy + ChromeDriver(Selenium/Playwright ) + Kafka + Redis

и язык программированния. Java ок, но по сути не так важно.

Ах да, сам бот может быть написан на Java, но это не критично, ему(бот) самому парсить не надо.

Answer 3

[denispashin]

А если у меня есть аккаунт на яндексе, вайлдбериес, озоне. И они начинают демпинговать за свой счет наш товар. Как лучше отслеживать цены ежедневно и автоматически, чтобы вовремя заметить демпинг? Может есть идеи, как проще сделать?

Comments

[justrussian]

Мы такое как раз делаем для одного из клиентов сейчас, там как правильно тут упомянули proxy + playwright. Можем сделать и под ваш запрос, если еще актуально.