Как реализовать парсер Wildberries по поисковым запросам (ссылки типа https://www.wildberries.ru/catalog/0/search.aspx?search={Запрос})?

Question

[Андрей Провоторов]

Задача состоит в том, что необходимо реализовать скрипт, который будет запускаться на VPS, искать позицию переданного ему товара по переданному запросу.
Проблема началась тогда, когда попытался просто спарсить html, введя готовую ссылку с запросом, получал пустой документ с шапкой и футером. Реализовал через webdriver, возникла проблема с запуском на хосте.
Подскажите, как можно выдернуть эти данные без использования вебдрайвера?
(Предпочтительно на C#, PHP, JavaScript)

Answer 1

[Jeff_Parker]

Может вопрос сложнее, чем мне видится, но с этим должен справится node js, а именно модули node-fetch (для реализования запросов к сайту) и cheerio (для парсинга полученного html документа)

const fetch = require('node-fetch')

const fetchFun = () => {
  const request = 'Кроссовки мужские'
  const enCodedreq = encodeURI(request)
  let data = fetch(`https://wildberries.ru/catalog/0/search.aspx?search=${request}`)
}

Comments

[Андрей Провоторов]

Спасибо за ответ, в ходе изучения разобрался с вопросом. Действительно - ваше решение близко, но не является верным. Момент такой, что при переходе по запросу - формируется запрос к файлу генерирующий JSON. Задача свелась к тому, чтобы разобраться - как именно он генерит GET-параметры и запрашивать их.
Реализовал на PHP.
На JS бы это выглядело так -
fetch(url (нужно было посмотреть несколько ссылок и понять по какой логике он их генерит, реализовать логику генерации ссылок и пихать сюда))
.then ((response) => {
if (response.ok) return response.json()
})

[timakrischenko]

Андрей Провоторов, есть возможность поделится наработками на пхп?

[Андрей Провоторов]

timakrischenko, https://github.com/ProvotorOFF/WBParser - в 22м году в последний раз обновлял, у ВБ API изменилось уже несколько, придется переписать чутка

[timakrischenko]

Андрей Провоторов, спасибо за ответ! но гит 404

[Андрей Провоторов]

timakrischenko, а, да он закрытый, напишите акк на гите, открою вам доступ к репо