Здравствуйте, есть сайт в котором котором изначально происходит загрузка страницы, а потом с помощью js загружаютсся данные на страницу. Если просмотреть исходный код страницы, то данных там нет. Понятно, что они подгружаются динамически и уже на клиентской стороне.
Тяжеловесная библиотека, которая выполняет js-код, и отдает данные с уже отобранным JavaScript-ом phantomjs.org
Однако, в твоём случае в этом нет необходимости. Достаточно на вкладке network отследить куда отправляются запросы для получения данных, и парсить уже эту страницу
Вы можете получить всю страницу в текущем виде(уже всю загруженную и обработанную) с помощью команды document.documentElement.innerHTML и дальше делать с ним всё что необходимо.
Вот по этому запросу страница получает данные: https://api.edadeal.ru/web/search/offers?count=30&...
Однако, ребята решили обмануть всех и скрыть данные, поэтому то, что отдаёт страница надо прогнать через декодер base64.
Если лень заморачиваться со всеми этими декодерами и ручной отправкой запросов можно использовать selenium + chrome headless, или splash от scrapinghub.
Средний
