Как скачать сайт с lazy lood?

Question

[Дмитрий Гоголенко]

Хочу скачать сайт, который загружается по мере прокрутки. Пытался скачать его с помощью wget, Web Copy и WinHTTrack. Сохраняется полупустой index.html и одна папка. Как можно скачать этот сайт? Не вручную же )

Comments

[shurshur]

1. Разобраться в запросах, которые делает сайт, и повторить.

2. Использовать selenium, который имитирует реальный браузер.

[Дмитрий Гоголенко]

спасибо

Answer 1

[Михаил]

Суть в том, что браузер использует JavaScript для формирования страницы. Если нужно скачать только данные - то найти запрос, который браузер шлет в бэкэнд и скачать данные им (там будет JSON или что-то подобное)

Если нужно скачать сайт прямо с оформлением - то проще всего написать небольшую программу, которая запустит реальный браузер (chrome точно так можно, насчет firefox не уверен) в автоматическом режиме и может имитировать в нем любые действия пользователя. См. chromedriver. Если ничего не путаю, то Selenium такое умеет.

Comments

[Дмитрий Гоголенко]

спасибо