Как распарсить ссылку при помощи net/html?

Question

[vgrabkowot]

Вот тут есть библиотека https://godoc.org/golang.org/x/net/html

s := `<p>Links:</p><ul><li><a href="foo">Foo</a><li><a href="/bar/baz">BarBaz</a></ul>`
doc, err := html.Parse(strings.NewReader(s))
if err != nil {
    log.Fatal(err)
}
var f func(*html.Node)
f = func(n *html.Node) {
    if n.Type == html.ElementNode && n.Data == "a" {
        for _, a := range n.Attr {
            if a.Key == "href" {
                fmt.Println(a.Val)
                break
            }
        }
    }
    for c := n.FirstChild; c != nil; c = c.NextSibling {
        f(c)
    }
}
f(doc)

Он парсит у елемента "a" параметр "href" и возвращает

foo
/bar/baz

Я же хочу получить

Foo
BarBaz

Answer 1

[Даниил Маслов]

package main

import (
	"bytes"
	"fmt"
	"log"
	"strings"

	"golang.org/x/net/html"
)

func collectText(n *html.Node, buf *bytes.Buffer) {
	if n.Type == html.TextNode {
		buf.WriteString(n.Data)
	}
	for c := n.FirstChild; c != nil; c = c.NextSibling {
		collectText(c, buf)
	}
}

func main() {
	s := `<p>Links:</p><ul><li><a href="foo">Foo</a><li><a href="/bar/baz">BarBaz</a></ul>`
	doc, err := html.Parse(strings.NewReader(s))
	if err != nil {
		log.Fatal(err)
	}
	var f func(*html.Node)
	f = func(n *html.Node) {
		if n.Type == html.ElementNode && n.Data == "a" {
			text := &bytes.Buffer{}
			collectText(n, text)
			fmt.Println(text)
		}
		for c := n.FirstChild; c != nil; c = c.NextSibling {
			f(c)
		}
	}
	f(doc)
}

https://play.golang.org/p/agnPMns-cjR

Comments

[vgrabkowot]

этоа библиотека напоминает магию.) Похоже Golang не очень преспособлен к парсингу хтмл.

[Даниил Маслов]

vgrabkowot, по мне вполне прилично :)

[vgrabkowot]

s0xzwasd, что бы понять как это работает я сделал транслятор в json https://github.com/v-grabko1999/go-html2json