Могут ли два консьюмера читать из одного топика в Kafka?

Question

[impressive17]

Могут ли два консюмера читать из одного топика? При этом нужно чтобы они оба обработали каждое сообщение топика. Для этого им нужно задать одинаковые или разные consumer_group_id?

Answer 1

[KoreanGuy]

Они должны быть в разных группах, потому что consumer group -- это один логический consumer, состоящий из одного или более физических. Все партишны всех топиков, на которые подписана группа, делятся поровну между членами группы. Поэтому если нужно не делить, а дублировать, нужно несколько групп.

Comments

[impressive17]

KoreanGuy, понятно, спасибо за ответ!
А группы консьюмеров нужно как-то создавать или при создании консьюмера достаточно указать что она принадлежит такой-то группе и передать туда другое значение?

[KoreanGuy]

impressive17, достаточно указать другой id