Как правильно запустить nodejs-приложение в кластере на мультипроцессорной машине?

Question

[Al]

Берем пример из оф. документации:

if (cluster.isMaster) {
  for (var i = 0; i < numCPUs; i++) {
    cluster.fork();
  }
  cluster.on('exit', (worker, code, signal) => {
    console.log(`worker ${worker.process.pid} died`);
  });
} else {
  // start my application
}

В итоге приложение запустилось 8 раз (у меня core i7-4770K), все вроде бы правильно, но! В приложении есть cronjob'ы и повсеместно используются сокеты помимо http-сервера. Из-за этого, я постоянно вижу по несколько попыток соединения сокетов, при старте несколько раз читается и парсится один и тоже файл-конфиг (исп для инициализации настроек приложения), иногда это приводит к ошибками при попытке одновременного чтения. И это, я уверен, что еще не все грабли на которые я наступил при попытке запустить приложение на каждом ядре cpu.

Что мне делать теперь? Нужно ковырять все приложение и как-то костылить все чтоб не дублировалось в кластерном режиме? Или все же есть вариант сделать все безболезненно?

Answer 1

[xfg]

Воспринимай каждый воркер как если бы он был запущен на удаленной машине, которая ничего не знает о другом воркере, который запущен на другой удаленной машине. Тогда станет ясно, что задачи следует складывать в сервер очередей, а тот уже раскидает задачи по воркерам так, чтобы они не пытались выполнять одновременно одну и ту же задачу.

Для очередей можно использовать kue. Работает поверх redis, который многие итак используют для масштабирования приложения по нескольким физически удаленным серверам, кеширования и всего прочего.

Конфиг можно подключать в индексном файле и отдавать каждой копии приложения.

const Application = require('path/to/Application');
const config = require('path/to/config');

if (cluster.isMaster) {
  for (var i = 0; i < numCPUs; i++) {
    cluster.fork();
  }
  cluster.on('exit', (worker, code, signal) => {
    console.log(`worker ${worker.process.pid} died`);
  });
} else {
  new Application(config).run();
}

Про сокеты не совсем понял. Приложение пытается куда-то приконектиться и выступает в роли клиента или приложение пытается поднять свой сокет сервер ?

Comments

[Al]

Про сокеты (приложение пытается поднять свой сокет сервер) - когда я делаю заброс, то событие on.connect срабатывает по-несколько раз для одного и того же сокета. Такое чувство, что сразу несколько сокет-серверов поднялось, скорее всего так и есть, на каждый процесс свой сокет-сервер.

А про kue, и принцип масштабирования который вы описали, есть наглядный пример? Например для express-приложения?

[xfg]

Речь о вебсокетах socket.io/sock.js/ws ? Несколько серверов не может подняться, поскольку порт один и node.js cluster делит этот порт между дочерними процессами.

Для express к сожалению не могу показать, так как ничего толкового не гуглится. А просто примеры есть в документации к kue, вполне понятные.

Kue и масштабирование не связаны напрямую между собой. Kue поможет вам автоматически делегировать задачу конкретному процессу (связанные с вашими крон джобами например).

О масштабировании я написал потому что, в серьезных проектах об этом часто задумываются и многие используют для решения этой задачи redis и имел ввиду, что если вдруг это ваш случай и вы тоже уже используете redis для каких-то задач, то возможно разумнее было бы в качестве сервера очередей выбрать kue, так как он работает поверх redis, чем тащить в проект еще одну зависимость вроде rabbitmq или еще какого-нибудь другого сервера очередей. Только и всего.

Но если вам все таки интересен принцип масштабирования, то один из вариантов можно подсмотреть в socket.io-redis. Все процессы подписываются на один redis канал и получают из него сообщения. Приложение публикует события в этот redis канал. Только и всего. Это нужно для того чтобы можно было отправить событие пользователям которые подключены к разным процессам/серверам.

[Al]

xfg: спасибо, вот как раз через redis и решается проблема с сокетами (например так: www.farennikov.com/2013/06/scaling-socket-io-with-...

[Al]

xfg: Я все же не смог победить проблему, в подробностях написал все здесь: Как правильно масштабировать nodejs-приложение с помощью cluster?
Если вам не сложно, взгляните, может ткнете меня в место где я делаю ошибки