@mRelby

Как парсить контент, сгенерированный JS-ом на Python. Что посоветуете?

Я в этом деле новичок, поэтому сразу попрошу не забрасывать мен камнями)

Сегодня куда не глянь - везде JS. Что собственно существенно усложняет парсинг, по крайней мере на Python так уж точно.
Двух библиотек: Requests в связке с bs4 - недостаточно. Либо я чего-то не знаю, в этом случае буду признателен, если тыкнете носом куда следует (в документацию).

Собственно вопрос: как и при помощи чего лучше всего парсить определенный контент со страниц, которые генерируются JS-ом?

Заранее спасибо за ответы.
  • Вопрос задан
  • 255 просмотров
Пригласить эксперта
Ответы на вопрос 5
selenium
Ответ написан
Комментировать
@DrrRos
Зависит от контента. Либо selenium либо, если, парсить надо то, что страница подгружает по API, то можно перехватить запрос к апишке и написать свою реализацию на requests\aiohttp\по вкусу.
Ответ написан
Комментировать
@sunsexsurf
IT & creative
поддержу. не всегда Селениум нужен (да и долго, порой). Поизучайте сначала то, как сервер отдает контент (или приложите ссылку сервиса). Порой, нужно просто покопаться в том, как уходят запросы и как они возвращаются. И никакой Селениум не нужен.
Ответ написан
Комментировать
dimonchik2013
@dimonchik2013
non progredi est regredi
есть чуть более легкие тулзы с JS обработкой, но все они сложнее, так что Селениум
Ответ написан
Комментировать
IDzone-x
@IDzone-x
Костыли сила паттерны могила
Selenium и только
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы