Задать вопрос
@GordonWolowitz

Как парсить сайт на котором есть элементы js?

Всем добрый день.

Задача такая: получить информацию с сайта скриптом на pythone.

Выяснилось, что информация в некотором блоке на сайте обновляется путем скрипта на javascript. Есть ли какие то библиотеки на python, позволяющие спрасить эту информацию? т.к. когда я парсю инфо через beautifulsoup данные мне выдаются неактуальные, хотя на сайте давным давно все обновилось.

Надеюсь вопрос задан понятно.
  • Вопрос задан
  • 2811 просмотров
Подписаться 2 Простой 2 комментария
Помогут разобраться в теме Все курсы
  • Яндекс Практикум
    Python-разработчик
    10 месяцев
    Далее
  • Skillfactory
    Профессия Python-разработчик
    9 месяцев
    Далее
  • Нетология
    Fullstack-разработчик на Python + нейросети
    20 месяцев
    Далее
Пригласить эксперта
Ответы на вопрос 1
Vlad_IT
@Vlad_IT
Front-end разработчик
JS тоже берет информацию от куда-то, ajax, описание объекта внутри script, ну или сокеты. Эти данные вы тоже можете получить. Научитесь работать с вкладкой Network в инструментах разработчика хрома, там легко выяснить, какие данные приходят (и уходят) на клиент, также можно подсмотреть передаваемые данные по сокетам.
Также, для анализа HTTP есть специальные удобные программы, например Fiddler и http analyzer.
Парсить сайты, которые генерируют страницу через JS гораздо проще, обычно сайт использует какое то удобное API, с которым приятнее работать, чем с HTML страницей.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы