Как выполнить 1000 раз одну синхронную функцию параллельно в NodeJS?

Question

[Максим Иванов]

У меня есть одна функция, она достаточно тяжелая (могут быть цикл в цикле и тд), скорость выполнения может варьироваться от 10 с - 1 минуты, в итоге, мне нужно собрать вывод этой функции воедино

// fn.js

module.exports = () => {
 // high operation
 console.log("time result", t);
}

// main.js

const fn = require("./fn.js");

// нужно выполнить эту функцию 1000 раз параллельно

Как на NodeJS добиться параллельности?

Answer 1

[rustler2000]

Никак - нода в один поток работает. Реж функцию на кусочки, и запускай по частям (сам, какойнить wq или промисами)

Comments

[Максим Иванов]

имея однопоточную nodejs это недостаток по сравнению с Java и C++?

[rustler2000]

Максим Иванов: сомнительный недостаток - вам легче не станет если вы джаву или кресты запустите на одном ядре или аффинити на одно ядро поставите. все равно 1000 тредов мало что выдержит (если вообще удастся столько запустить). на "зеленых тредах"/легких процессах/горутинах пожалуйста - но это всеравно не безумный ```while(true) {}```

[Максим Иванов]

а где почитать информацию по "зеленых тредах"/легких процессах/горутинах", чтобы ликбез себе провести и в целом по многопоточности?

[rustler2000]

Максим Иванов: вот отсюда к примеру - https://en.wikipedia.org/wiki/Green_threads и далее по ссылкам

Answer 2

[Антон Антон]

https://nodejs.org/api/cluster.html

Comments

[rustler2000]

1000 раз? :D

[Антон Антон]

rustler2000: Ну, можно наплодить по количеству ядер и создавать новые / кормить из очереди по завершению операции. ну а вообще - 1000 потоков выполнения вполне будут выполняться хоть на одном ядре (хоть и неэффективно).

[rustler2000]

Антон Антон: 1000 раз ноду не форкнуть без шаманства с ulimit. да и не ноду тоже.

[Максим Иванов]

https://stackoverflow.com/a/11532587/8029169 ?

[Антон Антон]

rustler2000: и правда, у меня чуть больше сотни создает :)
ну, тогда остается очередь и потомки по количеству ядер

[Антон Антон]

что характерно, у того же 1с полторы тысячи фоновых я ради эксперимента запускал одновременно.

[Максим Иванов]

что означает 1500 фоновых?

[Антон Антон]

Максим Иванов: что-то типа cluster.fork(), только ФоновыеЗадания.Выполнить()

[rustler2000]

Антон Антон: уверен, что там оно есть форк а не тред?

[Антон Антон]

rustler2000: на сервере да, треды. Количество процессов регулируется (полу)автоматически, указанием максимального количества соединений (клиентов, в т.ч. фоновых заданий) на процесс, они же - потоки, выполняющие серверный код на языке 1с.

Answer 3

[Negwereth]

https://github.com/pgriess/node-webworker

Comments

[rustler2000]

Не издевайтесь над человеком - это через child_process работате - в его случае это 1000 форков :E

[Negwereth]

rustler2000: ну, сама концепция воркеров для того и создана, чтобы параллелить задачи.

[rustler2000]

Negwereth: верно, но тут то форкбомба

[Максим Иванов]

Покажите пример выполнения 1000 форков на NodeJS

[Максим Иванов]

Сам их код не работает

/home/splincode/Develop/test-selenuim/node_modules/webworker/lib/webworker.js:35
var netBinding = process.binding('net');
^

Error: No such module: net

[Илья Шатохин]

Тогда уж лучше https://parallel.js.org