@Djonson86
Нечем похвастаться.

Может ли быть на сайте что то вроде защиты от парсинга?

Надо на Golang спарсить сайт. Все делаю по старой схеме, но почему то после http.Get нет всего содержимого сайта, в частности того что мне надо. Пишу в файл для изучения структуры. На сайте содержимое открывается сразу по ссылке, без нажатия каких либо кнопок. В инспекторе в браузере есть все. Пробовал делать выборку по селекторам - не берет. В чем может быть дело и как с этим бороться?

res, err := http.Get(Url)
	if err != nil {
		log15.Error("getting response body with error", log15.Ctx{
			"url": Url,
			"err": err,
		})
		return
	}
	defer res.Body.Close()

	// Create output file
	outFile, err := os.Create("res.html")
	if err != nil {
	log.Fatal(err)
	}
	defer outFile.Close()
	
	// Copy data from HTTP response to file
	_, err = io.Copy(outFile, res.Body)
	if err != nil {
	log.Fatal(err)
	}
  • Вопрос задан
  • 128 просмотров
Пригласить эксперта
Ответы на вопрос 2
@vgrabkowot
Вместо использования http.Get используйте Chrome DevTools Protocol https://github.com/chromedp/chromedp
Ответ написан
Комментировать
@ttlscr
Попробуйте в браузере отключить JS и и перейти по ссылке ¯\_(ツ)_/¯
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы