Как обработать данные в горутинах пакетами?

Question

[Максим Власов]

Здравствуйте! До этого никогда не писал параллельные вычисления. Столкнулся с задачей: есть огромный массив ссылок. Допустим, 10к штук. Их нужно обработать партиями, хотя бы по 10. По сути это парсер. Много читал про горутины, но не совсем понял как заставить их обрабатывать порциями такой большой массив. Спасибо заранее за ответы.

Comments

[DevMan]

и как функционал связан с иде?

[Максим Власов]

DevMan, мб вот так И то, что вы считаете golang ide - это не должно быть чьей-то проблемой.

[Модератор]

Максим Власов, расшифруете тайное сознание?

[Максим Власов]

Модератор, относительно терминов? То, что golang != ide.

[Модератор]

Максим Власов, соответственно, зачем вы указали IDE в тегах?

[Максим Власов]

Модератор, уже ответил. То, что у вас golang значится как ide. Go = Golang != IDE

[DevMan]

Максим Власов, вы читать не умеете? или проблемы со зрением?
golanG и golanD - кагбе разные вещи.

[Максим Власов]

DevMan, действительно. Прочитал как G. Прошу прощения.

Answer 1

[Stanislav]

Есть паттерн Worker Pool, пример можете посмотреть здесь: https://gobyexample.com/worker-pools

Comments

[Максим Власов]

А создавать каналы с буфером в 10к это нормально для GO?

[Roman K]

Максим Власов, вообще необязательно создавать канал с буфером. Для очереди задач хватит и обычного

[Stanislav]

У буфера каналов ограничение в размер int, но под буфер аллокации происходят, поэтому max int, конечно, лучше не использовать, но 10 тысяч это немного. Это достаточно общий паттерн, его реализовать можно по-разному, например просто цикл на твои десять тысяч ссылок запустить и с помощью одного канала в n буфер контролировать кол-во одновременных горутин, вот грубый набросок:

maxGoroutines := 10
limit := make(chan struct{}, maxGoroutines)
links := []string{"123",...}
for _, link := range links {
    limit <- struct{}{} // блокировка, пока нет "свободного" места для нового обработчика
    go func(l string) {
        worker(l) // твой парсер, если результат нужен - можешь возвращать его в другой канал с буфером 10 тоже и т.д.
        <-limit
    }(link)
}

[Максим Власов]

Stanislav, спасибо большое!

[Ромзес Панагиотис]

Максим Власов, только 10к ссылок стоит не хранить в ОЗУ, а правильнее брать их из СУБД или файла пачками, скажем, по 200-1000. Тогда память будет расходоваться разумно, а не хранить тупо все ссылки в ОЗУ, как есть.

1. Взять с СУБД 200 ссылок
2. Кидать каждую в канал, в цикле.
И так повторять, пока не закончатся все ссылки.

По примеру worker pool выше, строка
jobs := make(chan int, numJobs)означает, что пока при наполнении канала 5-ю числами, 6-е не сможет войти в канал и это будет блокировать программу до тех пор, пока из канала не заберут хотя бы 1 число.
То же самое будет и со ссылками. Поэтому, "читатель" канала должен быть достаточно шустрым и заносить результаты куда нужно.

Answer 2

[t38c3j]

10k это не много, можете рассмотреть простой пакет для этого https://github.com/alitto/pond