@DDwrt100

Apache Kafka как сделать управляющий канал?

Добрый день всем. Столкнулся с такой архитектурной проблемой в Kafka.
Все варианты использования Kafka, которые я видел в интернете подразумевают её использование как трубы в которую сливается дата трафик. Например есть кластер с логами , мы сливаем логи, и на выходе у нас кластер который молотит эти логи. Но если почитать мануалы по продукту, то можно увидеть, что кластер кафка позволяет использовать идеологию Point-to-Point. А вот примеров как эту идеологию настроить что то я не нашел.

Собственно, к чему вопрос. Есть система с множеством агентов, агенты собирают бизнес данные. Собранные данные передаются через Kafka на обрабатывающие сервера. С этим проблем нет. Проблема возникает с управляющим каналом до агентов. Хотелось бы его сделать силами Kafka. И не городить еще один протокол для того чтобы размещать задания на агентах.

Как вариант на каждого агента создавать свой топик, тогда я смогу гарантировать что каждый агент читает свои команды, и не может залезть в чужой поток команд, и что все команды будут прочитаны. Но такое решение с моей точки зрения не будет изящным.
Хотелось бы что то типа создать топик с именем Control, куда подключены агенты, и каждый бы точно получал свое сообщение.

Кто-нибудь может подсказать, как правильно реализовать со стороны Kafka поток управления сетью агентов? Ткунть пальцем на материалы которые необходимо прочитать, имеет для подобного использования ?
  • Вопрос задан
  • 35 просмотров
Решения вопроса 1
Vamp
@Vamp
Если хотите обойтись одним топиком, то делайте количество партиций по количеству агентов и подписывайте каждого агента на свою партицию.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
26 окт. 2020, в 10:48
3000 руб./за проект
26 окт. 2020, в 10:42
30000 руб./за проект
26 окт. 2020, в 10:18
50000 руб./за проект