Как скачать сайт основанный на js фреймворке?

Question

[XRave]

Как скачать информацию с сайта getcourse.ru для оффлайн доступа.

Comments

[Сергей delphinpro]

так же как и любой другой – wget

[XRave]

Wget даже форму авторизации не может подгрузить, ибо она ajax запросом догружается.

[edward_freedom]

XRave, ну так сам файл с формой ты же скачаешь, а ajax запрос идет на сервер сайта, что не подходит тебе для оффлайн доступа

Answer 1

[Vindicar]

Два способа.
1. Если сайт не борется с парсерами, выясни какая цепочка ajax-запросов требуется для получения нужных данных, и делай их сам. Это утомительно поначалу, но реализация будет менее требовательна к ресурсам.

2. Если борется, используй безголовый (или не очень безголовый) браузер, который умеет выполнять JS.
Для питона есть selenium, для других языков есть наверняка свои аналоги.

Answer 2

[ThunderCat]

selenium, puppeteer, headless chrome. Или любой другой веб драйвер. Как вариант - тащить все аякс запросы отдельно, но имхо это слишком накладно по коду.