Тяжелые вычисления на ноде, как распределить во времени?

Question

[bro-dev]

Поднят сервер с express, в том же скрипте отдельно есть вычисления которые длится секунд 20, так вот проблема в том что во время их сервер полностью перестает реагировать. Проблема точно не понимании асинхронности, не отвечает любой роут.
Задача не сложная получает подписчиков с 2х групп вк и вычитает, если группы по 200000 то уже секунд 20 думает, хотя казалось бы не сложная задача алгоритм простой 2 вложенных фора. Во время получения подписчиков тоже долгий процесс, но все норм работает, то есть загружена не сеть.
вот алгоритм мб в нем проблема и можно сделать оптимальнее

spoiler

//user_ids массив первой группы 200к идшников и так же banIds вторая группа
var tar = [];
        for (let i = 0; i < grdb.user_ids.length; i++) {
            var exist = false;
            for (banId of banIds) {
                if (banId == grdb.user_ids[i]) {
                    exist = true;
                    break;
                }
            }
            if (!exist) tar.push(grdb.user_ids[i]);
        }

Answer 1

[Константин Китманов]

O(n*n) -- это как раз таки не простой алгоритм...
По делу: вынесите этот тяжелый цикл в отдельный процесс с помощью cluster или тупо child_process. Или напишите аддон на C++ или Rust.

Comments

[bro-dev]

по факту там не O(n*n) за счет того что все идшники в группах уникальны, во втором цикле можно искать до первого попавшегося и брейкать.
Да еще уточнение если процессор одноядерный, вынесения в процесс поможет? насколько я знаю эвент луп в js работает примерно так же как операционной системе с процессами. Так что если ядро весит то это на все процессы так же как и у меня сейчас.

[Aves]

bro-dev, у эвент луп есть сходство с многозадачностью ос, вот только цикл for эвент луп не использует.

[Константин Китманов]

bro-dev, еще как вариант -- обрабатывать список кусками асинхронно. Обработать 100 айдишников, потом через setTimeout -- еще 100, и так далее.
По крайней мере, роуты будут отвечать.

Answer 2

[Владимир Скибин]

Вынесите эту обработку в отдельный процесс/скрипт, который будет слушать tcp/http входящие соединения и обрабатывать приходящие в него данные (Ваш цикл собственно) и с ним уже общайтесь из основного приложения. Суть в том, что Ваш event loop не прерывается на этом цикле и пока не закончит работать - не отдаст управление. Т.е. надо искусственно вызвать прервыание этого цикла. Можно его завернуть в промисы + setTimout(..., 0) но это явный костыль.