@mRelby

Как парсить контент, сгенерированный JS-ом на Python. Что посоветуете?

Я в этом деле новичок, поэтому сразу попрошу не забрасывать мен камнями)

Сегодня куда не глянь - везде JS. Что собственно существенно усложняет парсинг, по крайней мере на Python так уж точно.
Двух библиотек: Requests в связке с bs4 - недостаточно. Либо я чего-то не знаю, в этом случае буду признателен, если тыкнете носом куда следует (в документацию).

Собственно вопрос: как и при помощи чего лучше всего парсить определенный контент со страниц, которые генерируются JS-ом?

Заранее спасибо за ответы.
  • Вопрос задан
  • 112 просмотров
Пригласить эксперта
Ответы на вопрос 6
@bacon
Либо я чего-то не знаю, в этом случае буду признателен, если тыкнете носом

нужно тыкать носом в гугл, на каждом шагу пишут про selenium
ЗЫ посмотрел предыдущий вопрос, да тебя уже в него тыкали, значит бесполезно.
Ответ написан
@DrrRos
Зависит от контента. Либо selenium либо, если, парсить надо то, что страница подгружает по API, то можно перехватить запрос к апишке и написать свою реализацию на requests\aiohttp\по вкусу.
Ответ написан
dimonchik2013
@dimonchik2013
...а ну-ка пыль сдуй отсюда...
есть чуть более легкие тулзы с JS обработкой, но все они сложнее, так что Селениум
Ответ написан
@sunsexsurf
IT & creative
поддержу. не всегда Селениум нужен (да и долго, порой). Поизучайте сначала то, как сервер отдает контент (или приложите ссылку сервиса). Порой, нужно просто покопаться в том, как уходят запросы и как они возвращаются. И никакой Селениум не нужен.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
29 окт. 2020, в 03:40
4000 руб./за проект
29 окт. 2020, в 03:23
400 руб./в час
29 окт. 2020, в 02:05
3000 руб./за проект