Как правильно парсить на Golang?

Question

[K H]

Помогите правильно парсить пожалуйста. Я использую библиотеку Colly.

1) мне нужны парсить как можно больше данные авто по ссылке

Вот эти данные нужно парсить.

У меня получилось их парсить но хотелось бы их отделить:
CarName присвоить Tesla Y performance (4wd),
BodyCar присвоить Ceдан,
и тд.


То что у меня получилось:

package main

import (
	"fmt"

	"github.com/gocolly/colly"
)

type Car struct {
	CarName            string
	BodyCar            string
	ReleaseYear        string
	Color              string
	driveUnit          string
	EngineVolume       float32
	Mileage            int
	State              string
	FuelType           string
	CustomsClearedInRT string
	Transmission       string
	Price              string
	Url                string
}

func main() {

	scrapURL := "https://somon.tj/adv/8960821_tesla-model-y-2022/"
	c := colly.NewCollector(
		colly.AllowedDomains("www.somon.tj", "somon.tj"),
	)
	c.OnRequest(func(r *colly.Request) {
		fmt.Printf("Visiting %s\n", r.URL)
	})
	c.OnError(func(r *colly.Response, e error) {
		fmt.Printf("Error while scraping: %s\n", e.Error())
	})

	c.OnHTML(".chars-column", func(h *colly.HTMLElement) {
		car := Car{
			CarName: h.ChildText(".value-chars"),
		}

		fmt.Println(car.CarName)
	})

	c.Visit(scrapURL)

}

Comments

[d'Ivan]

Почему CarName: h.ChildText(".value-chars") ?

[сергей кузьмин]

Starship-sn17
разрешите за вас погуглить

https://github.com/gocolly/colly/blob/master/htmle...

func (h *HTMLElement) ChildText

https://github.com/gocolly/colly/blob/master/htmle...

func (h *HTMLElement) ChildTexts(

если помогло - отметьте решением

[Николай Савельев]

сергей кузьмин, комментарии решением не отмечаются. Новичок здесь у нас?

[K H]

Román Mirilaczvili, Потому, что все данные которые нужны мне, я хочу чтоб они были в структуре.
Я что то не так сделал?

[K H]

сергей кузьмин, Спасибо большое но насколько я правильно понял вы предлагаете форматированный вывод. Я хочу разделить и сохранить все данные в структуре.

[K H]

сергей кузьмин, Я конечно отмечу ответ об этом не волнуйтесь) Спасибо за инфу)

[d'Ivan]

Starship-sn17, вряд ли colly знает как распихать массив значений по ячейкам. Нужно самому прописать в коде.

[K H]

Román Mirilaczvili, То есть Colly не может в моем случае взять каждый этот li по отдельности?

[K H]

Román Mirilaczvili, Я правильно понял, что наверху предложили использовать фарматированный вывод и самому разделить полученные значения да?

[сергей кузьмин]

K H, разумеется "само" ничего не будет . программу напишите для более точного структурированного сбора. напр. xpath для доступа к индивидуальным ячейкам и циклы и структуру куда класть
учитывая что сейчас вся логика занимает 3 строчки можно предсказать увеличение в 10 ... 100 раз

[K H]

сергей кузьмин, Я понимаю, спасибо вам большое но вы можете скинуть пример или инфу где можно посмотреть как парсить по отдельности данные(в моем случае это тег li). К сожадению я смог парсить так как показано выше результат в консоли. Я бы хотел понять как парсить отдельно данные в моем случае?

[сергей кузьмин]

K H, если вы ожидаете разбора специфического дома страницы https://somon.tj/adv/8960821_tesla-model-y-2022/ то вам на фриланс

за общим образованием полно документов типа
How to build a web scraper with Go and Colly
https://divrhino.com/articles/build-webscraper-wit...

Building a web scraper in Go with Colly
https://blog.logrocket.com/building-web-scraper-go...

прочитайте и будет с чего начать

[K H]

сергей кузьмин, Можите поредактировать свой ответ точно также как последний комент ваш? Я отмечу ваш ответ, так как очень полезная ссылка на решения моей проблемы.

[IvanOne]

Хех я когда то разрабатывал движок для somon.tj

Answer 1

[сергей кузьмин]

разрешите за вас погуглить

https://github.com/gocolly/colly/blob/master/htmle...

func (h *HTMLElement) ChildTextgo(querySelector string) string

https://github.com/gocolly/colly/blob/master/htmle...

func (h *HTMLElement) ChildTexts(goquerySelector string) []string

https://stackoverflow.com/questions/61498687/how-t...

result := strings.Join(data, ",")
fmt.Println(result

How to build a web scraper with Go and Colly
https://divrhino.com/articles/build-webscraper-wit...

Building a web scraper in Go with Colly
https://blog.logrocket.com/building-web-scraper-go...

Answer 2

[K H]

У меня получилось, если кому интиресно, вот как я сделал. Всем спасибо за советы и инф.

package main
import (
	"fmt"
	"github.com/gocolly/colly"
)
type Car struct {
	CarName            string
	BodyCar            string
	ReleaseYear        string
	Color              string
	DriveUnit          string
	EngineVolume       string
	Mileage            string
	State              string
	FuelType           string
	CustomsClearedInRT string
	Transmission       string
	Price              string
	Url                string
}
func main() {
	scrapURL := "https://somon.tj/adv/8960821_tesla-model-y-2022/"
	c := colly.NewCollector(
		colly.AllowedDomains("www.somon.tj", "somon.tj"),
	)
	var carAttributes []string
	c.OnHTML(".chars-column li a", func(h *colly.HTMLElement) {
		carAttributes = append(carAttributes, h.Text)
	})

	c.Visit(scrapURL)

	car := Car{}
	car.BodyCar = carAttributes[0]
	car.ReleaseYear = carAttributes[1]
	car.Color = carAttributes[2]
	car.DriveUnit = carAttributes[3]
	car.EngineVolume = carAttributes[4]
	car.Mileage = carAttributes[5]
	car.State = carAttributes[6]
	car.FuelType = carAttributes[7]
	car.Transmission = carAttributes[8]

	fmt.Println("Наша тачка -", car)
}