Как спарсить данные подгружаемые js после загрузки страницы?

Question

[Ilia Malashko]

Здрасти!

Подсажите ак можно спарсить данные которые подгружаются js-ом.

К примеру на странице https://www.wildberries.ru/catalog/10771351/detail... нужно спарсить сколько раз покупался данные товар.
Видимо данное значение подсчитывается из зазов после компиляции страницы. Скрипт выполняется в файле https://static.wbstatic.net/j/productCard.min.js и подставляет значение в

Подскажите как парсятся подобные даные?

Answer 1

[xmoonlight]

phantom.js или casper.js (head-less браузеры) запускаются как дочерний процесс парсера для каждой очередной страницы.

Answer 2

[historydev]

Ждите загрузку страницы, она считается загруженной после отработки всех скриптов.

Comments

[Ilia Malashko]

Я curl работаю, он не прогружает скрипты.

[Пашенька]

Ilia Malashko, курлом не получится, нужен headless-обозреватель.

[Шохрух Шаймардонов]

Ilia Malashko, пользуйтесь хотя бы puppeteer в таком случае. Ну или пишите "расширение*

[zkrvndm]

Тут я вижу два варианта решения проблемы. Первый вариант, это написать JavaScript-парсер для браузера, но очевидно это вам не подходит. Второй вариант, это во вкладке Network консоли браузера посмотреть какие POST/GET запросы шлются для получения нужной информации, а затем повторить их через CURL.

[historydev]

Ilia Malashko, где логика? Ставить в теги js, а на деле "ой я в curl работаю",очень смешно.

[Ilia Malashko]

Владимир, в тегах был curl и php, но модератор решил что это лишнее.

[Ilia Malashko]

Надим Закиров, да обычно так и делаю, но подумал наверняка есть способы проще и решил обратиться к сообществу.

[Сергей Ильин]

Надим Закиров, подскажите, куда в network смотреть?

[zkrvndm]

sunsexsurf, по мере выполнения post/get запросов, новые запросы будут добавляться в список на вкладке Network. Кликнув запрос из списка можно просмотреть подробную информацию по нему: какие параметры передавались и какой ответ был получен. В общем, думаю разберётесь, ну а если нет, то заказывайте платную консультацию у кого-нибудь.

[Сергей Ильин]

Надим Закиров, спасибо, будем пробовать.