Как лучше организовать отчет от RabbitMQ?

Question

[HoHsi]

Добрый день!
Есть такая схема:


Тут имеется 3 бэк-энда, и 10 меин воркеров, которые получают задачи и разбивают их на более мелкие.
Если еще как заставить общаться между собой "больших" и "мелких" воркеров понятно (RPC), то как отсылать процент выполненной работы обратно на бек (красная стрелка) - вопрос.

Учитывая, что беков несколько, отвечать по RPC не вариант. Можно конечно писать это в базу, но это лишняя нагрузка.

Может кто сталкивался с таким?

Answer 1

[Igor Makarov]

Site в данном случае сам должен ходить за пирожками.

Comments

[HoHsi]

Не совсем понял. Зачем нам лишний воркер-левел? Он, как я понял сейчас просто берет на себя часть функционала main-воркеров.

И зачем между "пирожками" и main держать RPC?

[Igor Makarov]

HoHsi это не воркер. Это горячие данные, кеш (демон), воркеры отдают ему результаты работ, лучше всего держать прямо в оперативной памяти, но если данных много подойдет любое быстрое nosql (типа leveldb), логики должно быть минимум, чтобы не загружать проц и работать только на прием, отдачу и сброс нужных данных в хранилище. Хорошо вписывается событийная модель (event loop), когда site может подписаться на нужные ему события, а не опрашивать каждый раз демона на их наличие. Может быть вам из коробки подойдет redis.

RPC или нет - не суть, нужен лишь удобный и быстрый механизм общения между компонентами системы.

[HoHsi]

Igor Makarov: я тоже склонялся к варианту база+EventEmitter. Спасибо!