Какие вы знаете способы выполнения тяжелых задач на node.js?

Question

[Ричард Хендрикс]

Какие вы знаете способы/трюки/маневры/лайфхаки выполнения тяжелых задач(аля перебор больших циклов) без блокировки event loop'a, то есть асинхронно, на NODE.JS?

Comments

[Ричард Хендрикс]

Sha644, Бред.

[sim3x]

Ричард Хендрикс, тут как-то неофит задавал вопрос - почему жс быстрее си++ на двух больших переборах, которые ничего не делают

И в итоге выяснилось, что у плюсов есть -O2 -O3 которое схлопывает код в три прыжка на асм
А жс потратил 10-20 сек

[bro-dev0]

Когда у меня такой же вопрос возник я просто в итоге выяснил где у меня не оптимизированный код. Попробуйте с начало в эту сторону скорее всего те задачи что вы считаете на самом деле не требуют тяжёлых вычислений. Покажите код что за большие циклы.

Answer 1

[Анатолий Жаров]

Самое очевидное - не использовать nodejs для подобных задач, оно предназначено исключительно для IO. Можно поставить рядышком сервис, не страдающий от проблем однопоточности, и использовать rpc.

Answer 2

[Алексей Лауд]

Можно запускать дочерний процесс, в котором выполнять тяжелые задачи без блокировки основного.
Документация

Answer 3

[Алексей]

В дополнении к перечисленому, в nodejs недавно появилась эксперементальная возможность запускать код в отдельных потоках, называется Worker Threads.

Comments

[alphamikle]

Полностью поддерживаю, эта фича делает ноду убер-платформой!

Answer 4

[Антон Швец]

Ну и последнее, вдобавок к вышеперечисленному
process.nextTick()

Comments

[Ричард Хендрикс]

А с этого момента поподробнее

[Анатолий Жаров]

Ричард Хендрикс, режете тяжелую задачу на кучу легких, и размазываете ее по куче итераций ивентлупа

[Антон Швец]

Ричард Хендрикс, в мануале все написано.
Вкратке, запускает то что передано в коллбек на следующем цикле евентлуп.
То есть другие текущие задачи из стека евентлупа тоже будут обработаны.

еще есть setImmediate

[Ричард Хендрикс]

Анатолий Жаров, Этого эффекта же можно достичь и при использовании просто без прямого вызова setImmediate и nextTick()

[Анатолий Жаров]

Ричард Хендрикс, смысл в том, чтоб между кусками этой тяжелой задачи давать поработать другим

Answer 5

[McBernar]

Воркеры.
Или просто вторая нода.

Answer 6

[Андрей]

Нода не для вычислений, либо хитромудро дробить и вызывать отдельные фрагменты через setTimeout что тот еще костыль и логика будет подобна лапше, либо коллеги выше уже насоветовали.

Answer 7

[Павел Волынцев]

Использовать очередь заданий

1. NodeJS принимает задание (HTTP POST запрос с параметрами), передаёт служебную информацию в очередь (Apache Kafka, RabbitMQ)
2. Исполнитель извлекает задание, обрабатывает его, отправляет уведомление о завершении работы

Передача уведомдений возможна так же через очередь
Исполнитель для ресурсоёмких операций лучше делать на компилируемых языках, то есть C++, Erlang, GoLang