Как интерпретировать JavaScript при запросе requests?

Question

[Алихан Мулаев]

Столкнулся с одной проблемой. При парсинге сайта требуется получить кое-какие элементы которые подгружаются на страницу через JavaScript. Но requests в python не интерпретирует JavaScript, а просто всю страницу. Как сделать так, чтобы при запросе requests также интерпретировался JavaScript?

Answer 1

[Vindicar]

Никак. requests не для этого предназначен. Тебе нужен полноценный браузер, и код для управления им.
Т.е. пакет selenium.

EDIT: AlexBoss ниже правильно заметил - если сайт не слишком старается отсеивать ботов, то можно попробовать идентифицировать запросы, через которые выполняется подгрузка интересующих частей страницы, и выполнить их самому. Это позволит обойтись силами только requests, но это не всегда легко сделать.

Answer 2

[AlexBoss]

Не слушай знатока выше. Через селениум будет проще, но можешь посмотреть что за запрос идет и кинуть его отдельно, нужно только зависимость найти в передаваемых данных и сгенерить запрос.

Comments

[AlexBoss]

Ultra-Bad Coder, прочитайте мой ответ еще раз. Если все равно не поймете, тогда все ок)

[AlexBoss]

Ultra-Bad Coder, ну ок))