Как в Go контролировать количество горутинов?

Question

[Максим Власов]

Доброго времени суток! Нужно на го сделать некое подобие web паука. Механизм по идее простой:
Есть некое кол-во ссылок. Каждая ссылка запускается в своем "потоке". При нахождении ссылок определенного типа она должна добавиться в общую очередь. Количество потоков ограничено настройками. При завершении работы над страницей поток закрывается и на его место должен встать новый поток из очереди. Никак не соображу как это реализовать. Каков механизм контроля общего количества потоков?

Answer 1

[Владимир Олохтонов]

Классическая идея (ещё из C) - делать это с помощью каналов, вот как это должно быть устроено:
вы заводите канал, который будет играть роль семафора (мьютекса со счетчиком), пишете туда столько байт, сколько хотите максимум запускать сопрограмм, перед запуском каждой из них вычитываете один байт из канала, при завершении пишете его туда же. Таким нехитрым образом вы получаете ограничение сверху на число одновременно запущенных сопрограмм.

Вот пример кода:


Из вот этой книжки, рекомендую прочитать, кстати:

Answer 2

[Алексей 〒.]

Как и в других многопоточных языках, уже существует достаточное колличество готовых реализаций Worker Pool (Goroutine Pool)

Вот списки пакетов на github реализующих этот функционал: ссылка и ссылка