Выполнять задачи в отдельных потоках на nodejs поддерживая максимальное количество потоков, какие есть решения?

Question

[ff0xff]

Доброе время суток дорогие друзья.
Давайте сразу посмотрим на схему.


У меня есть некий большой пул разных задач которые нужно решать параллельно.
Каждая задача может выполнятся разное кол-во времени.
Первое решение было простое, создаем пул задач, ждем завершения всех задач, и так по кругу.
Но проблема в том что есть задачи которые решаются довольно быстро например за 3сек. и есть которые решаются медленно, например за 120сек. получается что пока последняя задача не будет решена, новый пул не поступит в обработку. Очень хочется избавится от этого.
Должны выполнятся следующие требования.

1. 
   
2. Должна быть возможность указать сколько дочерных процессов мы можем создавать.
   
3. Мы должны получать статус ответа от процесса ( например был выполнен успешно или нет ) - что то очень простое например bool тип.
   
4. Нужна возможность грохнуть процесс если он работает больше n заданного времени (например завис)
   
5. При завершение одного процесса (удачно или грохнули) должен стартовать новый процесс со следующей задачей.
   

Какие в nodejs есть решения для es6 которые отвечают всем 4 условиям?
Есть ли у кого грамотные примеры подобных задач?

Comments

[ff0xff]

хм - шо за баг, не как не могу убрать пустой пункт в списке....

[Иван Шумов]

ff0xff, меня максимально порадовало)

[Иван Шумов]

Так, а если по делу. Что это за задачи, нужно ли управление потоками? возможно что решение находится вне самой ноды

[ff0xff]

Иван Шумов, нет управлять потоками в процессе работы не нужно, надо только получить статус.

[Иван Шумов]

ff0xff, хорошо, а для чего получать статус?

[ff0xff]

Иван Шумов, Что бы понять какой процесс был завершен успешно а какой нет.

[Иван Шумов]

ff0xff, вот я и пробую докопаться для чего именно это?) чтобы выделить новую задачу для процесса?)

[ff0xff]

Иван Шумов, ну да, у меня ведь строго должно быть ограничено кол-во потоков. Но в тоже время у меня должны максимально использоваться ресурсы.

[Иван Шумов]

ff0xff, ну может просто очереди? в облаках для этого обычно используют очереди + autoscaling или очереди + FaaS. Вам достаточно очередей будет. Обработчики сами будут сообщать очереди что освободились

[ff0xff]

Иван Шумов, Слушайте вы правы - я даже не думал как то в сторону очередей. там ведь действительно можно поставить максимальное кол-во задач которое будет выполнятся - и при этом всегда будут ставится в план по максимуму! - блин какой простое решение спасибо! - а я тут мозги снашаю :)

Answer 1

[Иван Шумов]

В итоге - очереди, любые) тут целый каталог, если надо. Я топлю за RabbitMQ в большинстве случаев

Comments

[ff0xff]

Спасибо! - да я как раз про него сразу и подумал... уже работал с ним...

[Иван Шумов]

ff0xff, хороший tool. ну, для premises

[de1m]

По-моему это всё таки несколько не то. Очереди всёравно работают в одно процессе (может и нет, тут я не очень уверен). Я думаю, что можно к примеру worker threads использовать.

[ff0xff]

de1m, ну сама то очередь работает конечно в одном потоке, зато подписчиков которые забирают задачи на выполнение может быть несколько, и каждый раз выполняя задачу он будет забирать новую, не зависимо выполнились другие задачи который сейчас находятся в работе или нет.

[Иван Шумов]

de1m, если автору подошло решение то все же хорошо