Как распарсить страницу на Python3 на которой содержится JS?

Question

[sbh]

Суть вопроса - ссылка на страницу формируется динамически JS кодом.
Как загрузить страницу выполняя JS на Python3?

Answer 1

[Сергей Доний]

selenium
Вот ссылка:
https://medium.com/@hoppy/how-to-test-or-scrape-ja...

Либо любой другой движок, использующий приемочное тестирование, только средствами пайтона вы не заставите js выполняться.

Comments

[sbh]

да я понимаю что пайтон сам не умеет выполнять js на страницах. пробовал ставить selenium, но что-то не захотел он работать

[Сергей Доний]

sbh, могу вас уверить, он работает ))
selenium запущен ?

[Сергей Доний]

sbh, у меня были проблемы с chromedriver, когда браузер не запускался, не было времени копаться и запускал под geckodriver. Может у вас тоже по той же причине не получается ?

Answer 2

[Dimonchik]

если ajax - проще напрямую

если react - хаха

Comments

[sbh]

иногда лучше жевать чем говорить

[Dimonchik]

уф ты, с Реактом справился? ) достойно уважения

[Сергей Доний]

dimonchik2013, При чем тут реакт вообще ?
Сценарий:
запуск теста, который подключается к selenium, селениум запускаем браузер, и выполняет указанный URL и там уже до лампочки, реакт там, вью или ангуляр, работаем дальше - с DOM. В любом случае слой событийной абстракции крутится вокруг стандартных событий.

[sbh]

Сергей Доний, чел неадекват просто.

[Dimonchik]

Сергей Доний, selenium немножечко памяти кушает, а реакт при том, что только селениумом его и можно взять

впрочем, каждый меряет своим масштабом

[sbh]

"реакт при том, что только селениумом его и можно взять" - рука лицо. Ты откуда взял что его надо брать? Я в вопросе упоминал его?

[Сергей Доний]

sbh, ты откуда взял вообще реакт ?

Суть вопроса - ссылка на страницу формируется динамически JS кодом.
Как загрузить страницу выполняя JS на Python3?

Где ты тут реакт увидел ?

selenium немножечко памяти кушает, а реакт при том, что только селениумом его и можно взять

Любой парсер бьет по памяти, вопрос в удобстве и масштабах, если задача простая, то зачем извращаться ?
Phantomjs еще есть, как упомянул Владимир, хедлес
Задача заключюается не в особенности фреймворка, а в инструменте, который выбрать, чтобы не заморачиваться с фреймворком, который используется в Web-приложении. Кажется, в этом состояла суть. Angual или Vue тоже не отрендерят контент Ajax запросом, значит, нужен какой-то раннер, который запустит сначала код, а только потом в работу вступит парсер.

если react - хаха

Подобные комментарии к ответам умиляют, столько аргументов )

Answer 3

[Владимир]

сейчас хром и лисица умеют делать хедлес. почему не воспользоваться этим ?

chrome --headless --disable-gpu --dump-dom https://www.chromestatus.com/