Как запретить интансам получать данные из одной и той же партиции?

Question

[xiiicool]

У меня 4 инстанса одного микросервиса, 4 партиции, но один по каким то технических причинам работает медленнее остальных, когда на первых трёх все офсеты закоммичены, а на 4 ещё осталось много, я остановил четвёртый, была балансировка и 2 инстанса начали читать из одной партиции и создавать дубли записей
конфиги такие
KAFKA_CONNECTION_TIMEOUT=3000
KAFKA_AUTH_TIMEOUT=1000
KAFKA_REAUTH_THRESHOLD=10000
KAFKA_RETRIES=5
KAFKA_SESSION_TIMEOUT=60000
KAFKA_HEARTBEAT_INTERVAL=3000
KAFKA_MAX_WAIT_TIME=5000
groupId у всех один

Answer 1

[mayton2019]

Твоя задача может быть решена конфигурацией consumers вот как тут пишут https://www.baeldung.com/kafka-send-data-partition

Но мне кажется что тебе выгоднее решать такое разделением на топики а не на партишены.
Партишены - все таки больше для affinity, баланса нагрузки чем для разделения на бизнес-кейсы.

Comments

[xiiicool]

я сейчас тестирую может поможет, вычитал, что не правильно
KAFKA_SESSION_TIMEOUT=60000
KAFKA_HEARTBEAT_INTERVAL=3000
эти настройки выставил,
KAFKA_HEARTBEAT_INTERVAL должен быть 1/3 от времени KAFKA_SESSION_TIMEOUT, и KAFKA_SESSION_TIMEOUT был у меня недостаточный т.к операция завершалась позже времени транзации, и всё уходило в перебалансировку, надеюсь поможет )

[mayton2019]

Как будет угодно. Но ты занимаешся колдовством и чепухой.