Решение с многопоточностью для node.js?

Question

[Vitaly Vitaly]

Здравствуйте. Есть необходимость работать в N количество одновременных потоков, которые не зависят друг от друга. Структура такая: каждый поток делает запрос и пишет в базу, и это происходит в цикле, пока у потока не кончиться цикл.

В голову приходит только создание через cluster N количество воркеров, но воркеров будет в разы больше чем ядр у процессора.

Может есть какие-то другие решения (пример) или по моей задумке какие-то предложения?
Если есть возможность, прошу подкрепить примером.

Answer 1

[Тимур Шемсединов]

Можно сделать и в 1 потоке через очереди и асинхронность. Имеем N массивов A1.. AN, стартуем для них в цикле для каждого свой eachSeries, примерно так:

async.eachSeries(A1, function(item, cb) {
  // сюда приходит item, когда с ним покончено, то делаем cb()
}, function() {
  // все готово
});

Для каждого массива пока предыдущий элемент не отработает (не вернет управление через callback), то следующий не начнет обрабатываться. Если хочется использовать много процессоров, то разделяете задачу на части и запускаете при помощи cluster много процессов, передаявя каждому свою часть работы через переменные окружения или IPC: worker.send.

Comments

[Vitaly Vitaly]

А что скажите, если таких потоков к примеру нужно 150.. и создать 150 воркеров, которые в цикле внутри крутят запросы и пишут в базу. В принципе легкий код, много памяти воркеры не должны есть по идее?

[Тимур Шемсединов]

Да хоть 5000. Если у Вас 8 виртуальных ядер (4 ядра и гипертрейдинг), то разбейте 5000 на 8, получится по 625. Запускаете 8 процессов и в каждом по 625 очередей, а в очереди уже сколько угодно запросов.

[Vitaly Vitaly]

Тимур Шемсединов: ну смотрите. 5000 запросов, я создаю через мастера 5000 воркеров?

[Тимур Шемсединов]

Я там выше написал 5000 очередей. А если 5000 запросов, то нужно разбить их 8 воркеров, это 625 запросов на воркер. Но исполнять их тогда нужно не последовательно, а параллельно, но не все 625 сразу. А можно, например, по 10 одновременно из каждого воркера. Для этого используйте не eachSeries, а eachLimit.

[Vitaly Vitaly]

Тимур Шемсединов: смотрите, при задаче: 5000 одновременных (параллельно) запросов, мне необходимо делать каждый из них в цикле, пока не кончится цикл. т.е. 5000 - одновременных запросов, которые будут отправляться за информацией. То в таком случае, что может помочь?

[Тимур Шемсединов]

Если нужно 5000 параллельно, то делим их на 8 воркеров и в каждом запускаем по 625 запросов, но используем уже не eachSeries и не eachLimit, а async.map(arrayOf625Tasks, function(item, cb) { /* исполняем один запрос и вызываем по окончанию cb() */}, function() { /* все готово */ }); Почитайте всю доку async, оч полезно, она не большая: https://github.com/caolan/async