В
документации KafkaConsumer описано сохранение данных и offset одной SQL-транзакцией. Сравниваю две защиты при rebalance: общая строка checkpoint под FOR UPDATE и та же схема с дополнительным epoch владельца (fencing token).
Требуются порядок SQL-изменений внутри партиции и отсутствие повторного применения одной записи. Повторное получение и вычисление допустимы; запрет любого коммита прежнего владельца сам по себе не является требованием.
Рассмотрим Java KafkaConsumer 3.9 с subscribe() и enable.auto.commit=false, PostgreSQL 16 с READ COMMITTED. Обработка внутри партиции последовательная; работа с изменяемым состоянием БД выполняется внутри SQL-транзакции. При назначении партиции consumer читает next_offset из БД и вызывает seek(). Общая строка заранее создана, первичный ключ — (group_id, topic, partition_id).
Для каждой записи:
BEGIN;
SELECT next_offset FROM consumer_offsets
WHERE group_id = :g AND topic = :t AND partition_id = :p
FOR UPDATE;
-- Если record.offset меньше next_offset: ROLLBACK и пропуск.
-- Иначе: бизнес-изменения для записи в этой транзакции.
UPDATE consumer_offsets SET next_offset = :record_offset + 1
WHERE group_id = :g AND topic = :t AND partition_id = :p;
COMMIT;
Проверка offset выполняется после получения блокировки; при ошибке откатывается вся транзакция. Внешних эффектов нет, offset не сбрасывается, топик не пересоздаётся.
Сценарий: A получил запись 100 и остановился до SQL-транзакции. После rebalance B обработал 100 и 101, сохранив next_offset = 102. Возобновившийся A должен пропустить 100 по проверке checkpoint. При этом
callback потери партиции не гарантирует, что другой consumer ещё не начал работу.
Есть ли в этой модели последовательность действий A и B, при которой блокировка и проверка offset допускают повторный SQL-эффект или нарушение порядка, а fencing token предотвращает это? Или дополнительный epoch нужен уже для более строгой гарантии «записывать может только текущий владелец партиции»?