@artmirarmi

Парсинг сайта после выполнения js?

Здравствуйте, есть сайт в котором котором изначально происходит загрузка страницы, а потом с помощью js загружаютсся данные на страницу. Если просмотреть исходный код страницы, то данных там нет. Понятно, что они подгружаются динамически и уже на клиентской стороне.

Помогите решить эту проблему и спарсить сайт

Вот ссылка на сам сайт
https://edadeal.ru/magnitogorsk/offers
  • Вопрос задан
  • 6128 просмотров
Пригласить эксперта
Ответы на вопрос 3
@fomenko_alexandr
Тяжеловесная библиотека, которая выполняет js-код, и отдает данные с уже отобранным JavaScript-ом
phantomjs.org

Однако, в твоём случае в этом нет необходимости. Достаточно на вкладке network отследить куда отправляются запросы для получения данных, и парсить уже эту страницу
Ответ написан
sattellite
@sattellite
JS-программист
Вы можете получить всю страницу в текущем виде(уже всю загруженную и обработанную) с помощью команды document.documentElement.innerHTML и дальше делать с ним всё что необходимо.
Ответ написан
Комментировать
@Verz1Lka
Web scraping expert
Вот по этому запросу страница получает данные:
https://api.edadeal.ru/web/search/offers?count=30&...
Однако, ребята решили обмануть всех и скрыть данные, поэтому то, что отдаёт страница надо прогнать через декодер base64.

Если лень заморачиваться со всеми этими декодерами и ручной отправкой запросов можно использовать selenium + chrome headless, или splash от scrapinghub.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы