Как парсить через requests/bs4,сайт генерируемый через JS?

Question

[Oleg]

Добрый день.
Хотел спарсить сайт через использование requests/bs4. Но сайт генерируется на JS, и результаты парсинга через requests/bs4, не выдает :( (хотя Content-Type: text/html).

Если парсить через selenium, то все ОК, нужную информацию получаю.

Собственно вопрос, можно ли сайты на js, парсить через requests/bs4, а не через selenium? Если да, то как?

Answer 1

[Дмитрий Свиридов]

Нет, нельзя, потому что requests просто получает контент страницы (без выполнения js, естественно), а bs4 разбирает html. Selenium можно заменить разве что PhantomJS.

Answer 2

[Inviz Custos]

https://github.com/puppeteer/puppeteer

Comments

[AWEme]

И как это должно помочь? Вопрос то про питон.

[Inviz Custos]

AWEme, https://pypi.org/project/pyppeteer/

[AWEme]

Inviz Custos, а чем pyppeteer отличается от селениума?

Answer 3

[kkare]

Делай прямой запрос на js, зачастую инфа будет возвращаться в удобном для парсинга json