Как понять сколько тредов способна выдержать node.js?

Question

[Ричард Хендрикс]

Пытаюсь понять неосязаемую модель асинхронной разработки под Node.js, в частности такие вопросы, как понять сколько тредов способна выдержать node.js? что это за треды такие и как их отследить?

Answer 1

[Роман]

Очень часто под трэдами имеют ввиду как потоки так и параллельные процессы.

Если под трэдами вы подразумеваете процессы, то в nodejs они реализуются с помощью worker-ов. других реализаций насколько я знаю в ноде нет. Про них немного написано тут и тут (в комментариях намекают на тесты производительности и прочего, возможно даже кто то проводил оные)
Если же вы интересуетесь потоками, то о с ними можно немного ознакомится тут

Для более развернутого ответа хотелось бы более развернутый вопрос.

Comments

[Ричард Хендрикс]

Да я в целом не могу до кучи в голове собрать концепцию асинхронности, как этот эвент луп крутится, сколько памяти под него отдается, почему если все выполняется в одном потоке, это быстрее чем пхп со своими 'на каждый клиент по процессу', не могу представить все это дело вместе :/

[Сергей Горностаев]

Ричард Хендрикс, я только что вбил в Google запрос "node.js асинхронность", и он мне вывалил кучу статей, в которых подробно разжёвано, как это работает.

[Роман]

Если простыми словами то:
Эвент луп это по сути что то типа тетриса, только укладывает стройными рядками без зазоров не фигуры а текущие задачки и не в стакан а в цикл. При этом учитываем что все укладываемые задачки должны быть не большими по времени выполнения и не содержать блокирующих (читай синхронных) операций, что ложится на плечи программиста. Также надо отметить что евентлуп одно поточный, что существенно облегчает жизнь, позволяя не задумываться о синхронизации обрабатываемых данных между потоками выполнения. Также нода имеет на все случаи жизни набор возможностей, позволяющих большие и тяжелые задачи разбивать на маленькие и легкие части, а также не блокирующие (читай асинхронные) механизмы для всех возможных операций ввода вывода. Этим и достигается:
- компактная укладка задачек в цикл
- минимальное время простоев цикла выполнения
- и как следствие, максимально эффективное использование вычислительного ресурса потока.

[Ричард Хендрикс]

Роман, А можно как-то наблюдать внутреннее состояние ивент-лупа, очереди и прочего? Вот чтобы понять сколько нужно времени на обработку той или иной команды, а так же контролировать где проседает асинхронный механизм, чтобы избежать блокировки цикла и утечки памяти.

[Роман]

Ричард Хендрикс, один процесс ноды не быстрее кучи процессов php или другого ЯП. Но использует отведенный потоку вычислительный ресурс полнее, по возможности и при наличии нагрузки не допуская простоев. Этим и достигается высокая эффективновсть. Но не более того, чудес не ждите.

В свою очередь это накладывает ряд ограничений на код приложений, предполагающих работу под нагрузкой. Об этих онраничениях упоминалось выше, но повторюсь:
1. не использовать синхронный ввод вывод;
2. не делать больших задач с тяжелыми вычислениями, выполняемыми за раз. Если же такие вычисления необходимы, то в процессе их выполнения давать им паузу, позволяя эвентлупу переключаться на другие задачи или же выполнять такие задачи в воркерах. Для приостановки выполнения задач в ноде есть разные средста, например генераторы с yield и др.

На мой взгляд этой и выше представленной информации достаточно для понимания.
Если же вам требуется более глубокое понимание, обратитесь к исходным кодам ноды а также поищите в нете результаты тестов под нагрузкой для различных приложений.

[Роман]

А можно как-то наблюдать внутреннее состояние ивент-лупа, очереди и прочего? Вот чтобы понять сколько нужно времени на обработку той или иной команды, а так же контролировать где проседает асинхронный механизм, чтобы избежать блокировки цикла и утечки памяти.

Ричард Хендрикс, есть вот такой модуль
и вот такой цикл статей:
Node.js Performance Monitoring - Part 1: The Metri...
Node.js Performance Monitoring - Part 2: Monitorin...
Node.js Performance Monitoring - Part 3: Debugging...

В них можно найти/подсмотреть ответы на некоторые из Ваших вопросов.

Так же существует продукт N|Solid (лично им никогда не пользовался), который поставляется ва 3-х вариантах:
1. AWS Lambda. Optimally run Node.js serverless functions with exclusive performance insights. (Оптимальный запуск безсерверных функций Node.js с исключительной информацией о производительности.)
2. On-Premise. Build, analyze, and secure mission-critical applications with a superior Node.js runtime. (Создавайте, анализируйте и защищайте критически важные приложения с превосходной средой выполнения Node.js.)
3. Cloud. Monitor cloud Node.js applications for performance problems, security vulnerabilities, and more. (Мониторинг облачных приложений Node.js на предмет проблем с производительностью, уязвимостей безопасности и многого другого.)

Судя по описанию, данный продукт позволит Вам мониторить eventloop и не только.

[Ричард Хендрикс]

Роман, Огромное человеческое спасибо!11!

[Роман]

Рад что сумел Вам немного помочь.

[Роман]

Ричард Хендрикс, вот еще попалась на глаза статья близкая к теме Вашего вопроса.
https://habr.com/post/123154/