Как спарсить динамическую страницу с изначально подгружающимися js элементами?

Question

[Coder 1448]

Сайт - https://focus.kontur.ru/.
Он изначально с загрузкой страницы подгружает многие элементы через js. Например ту же строку поиска и кнопку "искать". Наверное специально против парсеров.
requests не находит, selenium тоже.
Скрипт, который скорее всего всё подгружает - https://widget-product.kontur.ru/widget/loader?pro....
Как это можно спарсить?

[РЕШЕНО]

Comments

[сергей кузьмин]

в чем конкретннее проблема - опишите
к сож не могу / не хочу "Попробовать бесплатно" фокус контур.

Answer 1

[Eugene TI]

Боюсь что короткий ответ - никак.
Это надо, чтобы JS запускалось натуральным движком JS в "натуральном" окружении браузера.
Парсеры html для питона JS не поддерживают как класс (естественно; это ж не парсинг html).
Если так уж надо, то попробуйте пропустить через pdfkit (+wkhtmltopdf) и на выходе парсить уже PDF. Звучит как издевательство, но теоретически это возможно.

Второй вариант - не парсить HTML, а самому вместо JS задавать AJAX-вопросы серверу.
Но это тоже только теоретически. Если сервер сделан нормально, то он такое делать не даст.

Comments

[Coder 1448]

Спасибо большое!