Как спарсить динамическую страницу с изначально подгружающимися js элементами?

Сайт - https://focus.kontur.ru/.
Он изначально с загрузкой страницы подгружает многие элементы через js. Например ту же строку поиска и кнопку "искать". Наверное специально против парсеров.
requests не находит, selenium тоже.
Скрипт, который скорее всего всё подгружает - https://widget-product.kontur.ru/widget/loader?pro....
Как это можно спарсить?
  • Вопрос задан
  • 111 просмотров
Пригласить эксперта
Ответы на вопрос 1
justhabrauser
@justhabrauser
IT specialist
Боюсь что короткий ответ - никак.
Это надо, чтобы JS запускалось натуральным движком JS в "натуральном" окружении браузера.
Парсеры html для питона JS не поддерживают как класс (естественно; это ж не парсинг html).
Если так уж надо, то попробуйте пропустить через pdfkit (+wkhtmltopdf) и на выходе парсить уже PDF. Звучит как издевательство, но теоретически это возможно.

Второй вариант - не парсить HTML, а самому вместо JS задавать AJAX-вопросы серверу.
Но это тоже только теоретически. Если сервер сделан нормально, то он такое делать не даст.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы