Как передать данные из одного процесса другому процессу на nodejs?

Question

[Николай]

Зная pid процесса, запущенный с помощью child_process.exec, можно ли как то в любой момент передать объект с данными этому процессу и наоборот?

Сокеты использовать не могу, так как придётся нагружать мастер процесс, а его нужно максимально оградить от каких либо воздействий.

Answer 1

[Тимур Шемсединов]

Как раз через сокеты можно передавать от одного дочернего процесса другому, а через child_process (и через cluster), т.е. через IPC (межпроцессовое взаимодействие) все будет идти только через мастер-процесс. Слушайте в каждом процессе UDP, это удобно, если нужно рассылать всем сразу, а если только конкретному процессу, то при форке дайте ему в параметры номер порта и откройте отдельный серверный TCP сокет в каждом воркере. Мастер процесс может прислать каждому воркеру соответствие между портами и pid (если это нужно), иначе можно просто знать, что порты идут, например, от 2000 до 2019 (т.е. их 20 штук открыто) и присылать на один из них.

Comments

[Николай]

Проблема сокетов в том, что их нужно постоянно поддерживать в рабочем состоянии. Так же он больше подверженны перегрузу. Но без сокетов я понимаю, что мне нужно какое то временное хранилище (к примеру оперативная память), которое будут слушать все процессы и при поступлении новой задачи нужный процесс выполнит её. Или же может есть какая то система кэлбэков.

[Тимур Шемсединов]

Dinfyru любое соединение между процессами нужно постоянно поддерживать в рабочем состоянии. Сокеты - это один из самых легких способов, можно конечно взять и файлы отображаемые в память, но это тогда вопрос не про Node.js, а про C++.

[Николай]

Тимур Шемсединов: Тогда если уйти от вопроса про node js. По мне идеальным решением было бы напрямую передавать процессу какие либо данные, но как я понимаю без сокетов тут не обойтись (процессы разные и некоторые запущенны вообще из разных мастер-процессов). Поэтому скорей всего остаётся вариант с временным хранилищем. Единственный вариант пока вижу, это оперативная память, но боюсь представить, что будет если в очереди скопится 100 000 задач. И если говорить про C++, вы подразумеваете его как передатчик данных от процесса к процессу? Если да, есть ли какие то весомые плюсы?

[Тимур Шемсединов]

Dinfyru, а как с этим временным хранилищем Вы связываться будете? Варианты такие: Memory-mapped files (файлы отображаемые в память), сокеты, сигналы, IPC. Через IPC могут взаимодействовать только master и worker. Через сигналы нельзя слать данные. Все, только файлы отображаемые в память и сокеты остались. C++ не может быть передатчиком данных, это язык, а не протокол, но Вы можете найти или написать на нем библиотеку, которая будет позволять общаться двум процессам через файлы отображаемые в память, это гораздо быстрее сокетов, но там столько подводных камней, а Вы про это в первый раз слышите, так что, я думаю, что Вы положите год своего времени чтобы получить этот бесценный опыт. Так что, берите сокеты и не страдайте чепухой.

Answer 2

[Николай]

pm2.keymetrics.io/docs/usage/cluster-mode
Redis

Comments

[Николай]

У меня процессы могут быть абсолютно разными. Чистая кластеризация не подходит. Да и мне бы способ общения (хотя бы на пальцах), а не готовое решение.

[Николай]

Dinfyru: Redis

[Тимур Шемсединов]

А подключение к редису через сокеты )))

Answer 3

[Иван]

ИМХО через БД.

Comments

[Николай]

Через бд весьма затратно выходит по ресурсам и delay event click получается дольше.

Answer 4

[Stalker_RED]

https://ru.wikipedia.org/wiki/AMQP не ваш вариант? С очередями, шардингом и прочими плюшками искаропки.

Comments

[Николай]

Проблема в том, что как я понял AMQP базируется на сокетах, а сокеты я очень не хочу использовать. Сокеты сильно подвержены перегрузу.