Как дождаться загрузки JS на странице?

Question

[Кирилл]

Есть простой GET запрос в результате которого получаю "голый" DOM.

Суть вопроса:
Есть ли способ дождаться догрузки компонентов от JS, и уже потом отдать мне конечную страницу (как если бы я использовал браузер)?

Слышал про веб драйверы, но использовать, например, Selenium для этого, мне кажется неудобным.
Если подскажите альтернативы буду очень рад.

client := &http.Client{}
request, _ := http.NewRequest("GET", url)
response, _ := client.Do(request)
body, _ := ioutil.ReadAll(response.Body)
fmt.Println(string(body))

Answer 1

[Евгений]

golang не выполняет ни какой код получаемый из запроса, для него это тупо срез байтов, вся обработка ложиться на вас. По этому или chromedriver с помощью agouti или какие-нибудь экзотические библиотеки типа v8go

Но лучше конкретизировать вопрос и написать какую задачу пытаетесь решить, вероятнее всего вам вообще не нужно взаимодействовать с js

Comments

[Кирилл]

Моя задача предельна проста, мне необходимо спарисить динамический сайт.
То есть изначально загружается основной каркас страницы, какие-то базовые статические элементы.
Но в процессе использования подгружаются уникальные элементы. В общем сайты на react, angular и т.д.

Например, интернет-магазины, подобные asos.com

[Евгений]

Кирилл, ну я так и предполагал ))
Для решения такой задачи заморачиваться с выполнением javascript не нужно, все эти сайты на react, angular и т.д. и т.п. общаются с бекендом, и вам ни чего не мешает посмотреть эти запросы (в режиме разработчика в браузере вкладка Network ) и напрямую их использовать в golang да и еще и в нормальном виде данные получите (json наверняка)

[Кирилл]

Евгений,  Вау, спасибо, я даже не думал об этом, сейчас начну читать как это можно реализовать!