Как вообще пользоваться Kafka если сообщения могут дублироваться на разных приёмниках?

Question

[teemour]

1. Как построить надежную систему обработки сообщений если мы можкм получить одно и тоже сообщение на разных узлах подписчиках, читаем его, обрабатываем его и записываем куда-то результат. Получается лишняя работа и это работает только при идемподентных операциях.
   
2. Если как то справится с распределением сообщений для обработки только одним подписчиком (exactly-once вариант, которого нет из коробки), то если я хочу фильтровать по ключу то всё равно надо вычитывать всё сообщение?
   

Я чего то не понимаю в этой системе?

Answer 1

[al_gon]

По вашим вопросам очевидно, что вам не нужен Publish/Subscribe.
Вам нужен Queue. Kafka это неправильный выбор, так как это Тopic-Based Publish/Subscribe Broker.
Почему не подходят Activemq или Rabbitmq?

1) если у вас подписчики читают с одного топика то дублирование не избежать.
2) читать с одного топика одним подписчиком.

Кто и как использует Apache Kafka: https://kafka.apache.org/powered-by
https://pbs.twimg.com/media/C3GBWDrXgAAk3Kb.jpg:large

Answer 2

[teemour]

Спасибо. Просто Kafka уже есть, хотя непонятно как его готовить.

Интересно, а как pub/sub брокер вообще используют для обработки данных если не для нотификаций.

Comments

[al_gon]

Про нотификацию знаю, но ни разу в продакшене не видел.
Лично сам, знаком только с распределеннием данных.