Как избежать перегрузки node js?

Question

[Stepgor]

У меня есть телеграм бот, при вводе команды он может думать секунд 10 из-за того, что на сервере в этот момент может обрабатываться несколько тысяч объектов. В файле бот подключен через require.
file.js <- тут обработка тысяч объектов и тут же подключен бот, чтобы отсылать сообщения.

Comments

[Leo Developer]

Как один из вариантов, если использовать таймер. Т.е разделить несколько тысяч объектов, на десятки setTimeout функций обработки.

[Sunflowerz]

Или вместо waterfall использовать другие возможности решения Promise'ов.
Очень рекомендую если есть опыт https://caolan.github.io/async/v3/

[Gic0]

Что именно ты хочешь? Чтобы он мог отвечать в этот момент на другие запросы? Или, чтобы эти объекты быстрее считались?
Если первое, то переводить все в асинхронные функции (Promise, async/await) , если второе, то нужно параллейлить процесс обхода объектов (workers)

Answer 1

[AlexisKmetik]

Очереди. Redis или что сложнее.

Answer 2

[Alexey Epsilon]

Обработку объектов (если она фоновая) вынести в отдельный поток. Если не фоновая - серьёзно думать над архитектурой.

Answer 3

[xmoonlight]

Нужно создать асинхронную архитектуру.

Answer 4

[kr_ilya]

Гугли/ищи на ютубе уроки про промисы

Answer 5

[Oval Enoc]

Для запуска Node используйте PM2

В конфигурации важные параметры:
"instances": "max" - максимальное число потоков;
"exec_mode": "cluster" - работа в кластере;
"node_args": "--max-old-space-size=512" - ограничение памяти, чтобы Node не выходил за ее пределы.

Answer 6

[Владимир Скибин]

Учим мат часть. NodeJS выполняется в event-loop, что предполагает под собой некую однопоточность с "разрывами" и составление очередей обработки. Если Вы не делаете прерывания - то у Вас долго выполняется какая либо операция - значит Вы неправильно используете nodejs - он не предназначен для выполнения ресурсоемкий задач в ощем потоке. Если же у Вас превышает очередь выполнения критический для бизнес-логики уровень - тогда Вам необходимо распараллеливать обработку входящих сообщений. А для контроля этого всего - использовать очереди сообщений, организованные на любом ПО (хоть та же нода / редис / рабит / натс). Вам же нужно выяснить где у Вас узкое место из вышесказанного

Answer 7

[Antowa Kartowa]

PM2 --- инструмент который позволяет запускать несколько экземпляров приложения, какая-то базовая система балансирования нагрузки.

Для работы со сторонними сервисами с которыми может возникнуть задержки и фейлы выделяют в отдельные процессы (воркеры). А иногда не только те что работают со сторонними сервисами. В общем есть воркер который просто принимает какие-то запросы и помещает их в очередь. За очередью следят другие воркеры каждый со своей специализацией, функционалом и достают задачи из очереди и обрабатывают их. Если воркер упал, то задача возвращается в очередь, вокрер перезапускается. Но основной сервис от этого не падает и вообще на него это не влияет. Организовываются очереди обработки например с помощью инструмента RabbitMQ