Почему так много памяти сьедает словарь?

Question

[Владимир Грабко]

У меня была простая задача. На страницах парсить емейлы. Для того что бы повторно не добавлять емейлы в базу я сделал два мапа

var storageUrl map[string]int
var storageEmail map[string]int

в них ключём выступает url или емейл, а значение всегда 0. Сейчас мап с урл имеет 2204 елемента, а с эмейлами 2289 елементов. Общая память 1075мб. Что можно сделать?

ОСТОРОЖНО! От моего кода из глаз течёт кровь.

main

spoiler

package main

import (
	"bufio"
	//"bytes"
	"fmt"
	//"log"
	"os"
	"parser/parse"
	"time"
)

var storageUrl map[string]int
var storageEmail map[string]int

func main() {
	storageUrl = make(map[string]int, 10240)
	storageEmail = make(map[string]int)
	queueLoadUrl := make(chan string)
	queueParseUrlHtml := make(chan string)
	//queueParseEmailHtml := make(chan string)

	queueStorageUrl := make(chan string)
	queueStorageEmail := make(chan string)

	defer func() {
		if r := recover(); r != nil {
			ReplacationFileSystem()
			os.Exit(1)
		}
	}()
	for i := 0; i < 10; i++ {
		go func() {
			for {
				msg := <-queueLoadUrl
				_, ok := storageUrl[msg]
				if !ok {
					queueStorageUrl <- msg
					queueParseUrlHtml <- parse.LoadUrl(msg)
				}
			}
		}()

		//эта рутина занята парсингом
		go func() {
			for {
				msg := <-queueParseUrlHtml
				go func() {
					//поиск емейлов.
					for _, value := range parse.EmailHtml(msg) {
						queueStorageEmail <- value
					}
					//парсим все ссылки и отдаём на загрузку.
					//что то вроде рекурсии
					for _, value := range parse.UrlHtml(msg) {
						queueLoadUrl <- value
					}
				}()
			}
		}()
	}

	//эта рутина обновляет данные в Storage
	go func() {
		for {
			select {
			case msg1 := <-queueStorageUrl:
				storageUrl[msg1] = 0
			case msg2 := <-queueStorageEmail:
				_, ok := storageEmail[msg2]
				if !ok {
					storageEmail[msg2] = 0
				}
			}
		}
	}()

	//рутина занята репликацией.

	reader := bufio.NewReader(os.Stdin)
	fmt.Print("Фраза или url: ")
	text, _ := reader.ReadString('\n')
	fmt.Println("Начал парсинг")
	queueLoadUrl <- text

	for {
		time.Sleep(25000 * time.Millisecond)
		ReplacationFileSystem()
	}

}

func ReplacationFileSystem() {
	file, _ := os.Create("email.txt")
	defer file.Close()
	var buf string
	for key, _ := range storageEmail {
		buf += key + "\n"
	}
	fmt.Println("Распарсенно страниц: ", len(storageUrl), "\nВсего найдено адресов: ", len(storageEmail))
	file.WriteString(buf)
}

parse

spoiler

package parse

import (
	"io/ioutil"
	"log"
	"net/http"
	"net/url"
	"regexp"
	"strings"
	"sync"

	"golang.org/x/net/html"
)

var Host string

func LoadUrl(urls string) string {
	u, err := url.Parse(strings.TrimSpace(urls))
	if err != nil {
		return ""
	}
	rw := &sync.RWMutex{}
	if u.Host == "" {
		rw.RLock()
		u.Host = Host
		rw.RUnlock()
	} else {
		rw.Lock()
		Host = u.Host
		rw.Unlock()
	}

	if u.Scheme == "" {
		u.Scheme = "http"
	}

	res, err := http.Get(u.String())
	if err != nil {
		return ""
	}
	d, err := ioutil.ReadAll(res.Body)
	defer res.Body.Close()
	if err != nil {
		return ""
	}
	return string(d)
}

func UrlHtml(s string) map[int]string {
	urls := map[int]string{}
	count := 0

	doc, err := html.Parse(strings.NewReader(s))
	if err != nil {
		log.Fatal(err)
	}
	var f func(*html.Node)
	f = func(n *html.Node) {
		if n.Type == html.ElementNode && n.Data == "a" {
			for _, a := range n.Attr {
				if a.Key == "href" {
					urls[count] = a.Val
					count++
					break
				}
			}
		}
		for c := n.FirstChild; c != nil; c = c.NextSibling {
			f(c)
		}
	}
	f(doc)

	return urls
}

func EmailHtml(str string) []string {
	r := regexp.MustCompile("([a-z0-9_\\.\\-]+)\\@(([a-z0-9\\-])+\\.)+([a-z]{2,6})")
	return r.FindAllString(str, -1)
}

Comments

[#алгоптимизируй #отботизируй]

Для начало нужно проверить, точно ли там мыла и ссылки,а не хтмл содержимое страниц, например.
1ГБ - это слишком, скорее всего проблема не в одном -двух словарях.

[sim3x]

в го нет named tuple?

[sim3x]

есть тег spoiler
есть тег code

в крайнем лучае использовать gist

[Владимир Грабко]

sim3x: не понял.

[sim3x]

Владимир Грабко: код лучше размещать в впросе, а не на стороннем ресурсе

[Владимир Грабко]

sim3x: а как юзать тег spoiler ? Сейчас быстренько поправлю

[sim3x]

Владимир Грабко: я руками пишу <spoiler> blah </spoiler>

[Владимир Грабко]

sim3x: сделал

[Владимир Грабко]

С Sharp: везде нолики храню)

[#алгоптимизируй #отботизируй]

Владимир Грабко:
это очередь или что это?) queueParseUrlHtml
Мда, синтаксис, конечно, жесть, тут вопрос к авторам языка.. =)
Лень разбираться =)

Эта функция под вопросом
func UrlHtml(s string)
Предлагаю убрать рекурсию и выдавать рандомные урлы и посмотреть, что будет с памятью.

[Everything_is_not_so_bad]

Ошибка в слове Replacation

Answer 1

[Никита]

Возможно это оффтоп, а может и причина болезни, но Это просто жесть)

//parse
rw := &sync.RWMutex{}
  if u.Host == "" {
    rw.RLock()
    u.Host = Host
    rw.RUnlock()

А это нормально? С трудом понимаю что здесь, но кажется внутри замыкание лишнее.

go func() {
      for {
        msg := <-queueParseUrlHtml
        go func() { // <--------

Comments

[Владимир Грабко]

1. это на случай если в урл нету домена то я добавляю последний который использовался.

2. здесь 1 рутина получает данные из канала и запускает вторую которая разбирает данные. Если убрать второе замыкание то разбор будет в 10 потоков (в самом верху цикл запускает по 10 экземпляров рутин)

[Владимир Грабко]

а так 10 потоков читают канал и для каждой страницы запускают свой поток.

[Никита]

Владимир Грабко: я про мьютексы.

[Владимир Грабко]

Никита: это 1 случай.

[Никита]

Владимир Грабко: regexp.MustCompile тоже жестокий. Простите, но вот от нечего делать пытаюсь понять что происходит в вашем коде, но никак не могу, так как не текст кода ужасен, а сама логика работы. А количество потенциальных рутин просто зашкаливает, не, прекрасно понимаю какой должен быть результат выполнения программы, но я бы сделал всё иначе, такой ужас может приснится только в кошмарах, имхо =).

[Владимир Грабко]

Никита: я уже ранее писал чем будут программисты пугать своих детей))

[Владимир Грабко]

Никита: Вот смотрите.
В глобальной видимости я создаю два регистра. Один для емейлов другой для урл дабы избежать дублирования. Потом создаю канал queueLoadUrl и потом все данные что поступают в него будут загружатся (http.Get). Потом эти данные я отдаю в канал queueParseHtml который слушает парсер. Этот парсер для каждой страницы запускает свою рутину парсер (она всё распарсит и пихнёт в регистры при помощи каналов queueStorageUrl и queueStorageEmail) Она также распарсит все ссылки и отправит их в канал queueLoadUrl. Регулярка парсит все емейлы. Потом в конце main я запускаю в цикле репликацию мапа на жесткий диск.

[Oleg Shevelev]

Сделайте методы Get() Set(), положите логи туда, потом вызывайте где угодно методы и это будет безопасно. Не нужно будет контролировать 100500 мест.

Answer 2

[arctblake]

А зачем int использовать как value? Он ведь 4 или 8 байтов съедает в зависимости от системы. Используйте struct{} вместо int

Comments

[Владимир Грабко]

всм map[string]struct{} ?

[arctblake]

Ну да. Вам же просто множество нужно? Потом записывайте в мап не 0, а struct{}{}

[Oleg Shevelev]

_, ok := map[string]struct{}
if ok {
значит элемент есть
} else {
значит элемента нет (не добавили ещё)
}

[Владимир Грабко]

Oleg Shevelev: хм. А зачем это добавлять то? Если вы намекаете на то что я не знаю эту конструкцию то вы не правы.

[Oleg Shevelev]

Владимир Грабко: я к тому что если кто-то найдёт этот вопрос и будет думать о чём тут речь и как это использовать то тут будет реальный пример.

Answer 3

[Владимир Грабко]

Переписал всё на мьютексах. Вместо каналов сделал очереди (из мапов) Не течёт) Я доволен как кот)

Answer 4

[Владимир]

откройте для себя memcached или redis
оно будет, конечно, помедленней, но избавит от необходимости хранить кучу хрени в рентайме и потери данных при креше приложения
redis сохранит данные и в случае перезапуска сервака

Comments

[Владимир Грабко]

у меня софт не серверный.

Answer 5

[fastpars]

Предполагаю что вы не закрыли Body в http.Response.

На вопрос "Почему не работает код?" предлагаю вам не стесняться и показывать этот самый код.

Comments

[Владимир Грабко]

код работает. Просто течёт.

[Владимир Грабко]

http закрыт. Показал код.