@Djonson86
Нечем похвастаться.

Может ли быть на сайте что то вроде защиты от парсинга?

Надо на Golang спарсить сайт. Все делаю по старой схеме, но почему то после http.Get нет всего содержимого сайта, в частности того что мне надо. Пишу в файл для изучения структуры. На сайте содержимое открывается сразу по ссылке, без нажатия каких либо кнопок. В инспекторе в браузере есть все. Пробовал делать выборку по селекторам - не берет. В чем может быть дело и как с этим бороться?

res, err := http.Get(Url)
	if err != nil {
		log15.Error("getting response body with error", log15.Ctx{
			"url": Url,
			"err": err,
		})
		return
	}
	defer res.Body.Close()

	// Create output file
	outFile, err := os.Create("res.html")
	if err != nil {
	log.Fatal(err)
	}
	defer outFile.Close()
	
	// Copy data from HTTP response to file
	_, err = io.Copy(outFile, res.Body)
	if err != nil {
	log.Fatal(err)
	}
  • Вопрос задан
  • 91 просмотр
Пригласить эксперта
Ответы на вопрос 1
@vgrabkowot
Вместо использования http.Get используйте Chrome DevTools Protocol https://github.com/chromedp/chromedp
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Ovision Санкт-Петербург
от 100 000 до 300 000 ₽
ELMA Санкт-Петербург
от 80 000 до 180 000 ₽