Задать вопрос
@alex_agaphe

Python kafka не видит headers?

Python kafka не получает заголовки от apache kafka.

Как воспроизвести
попробовать прочитать заголовки через kafka?
consumer = KafkaConsumer(
    "mz-core-document-manager-responses",
    auto_offset_reset="latest",
    group_id=None,
    api_version=(0, 10, 1),
    bootstrap_servers=[
         ....
    ],
)
for message in consumer:
    # message value and key are raw bytes -- decode if necessary!
    # e.g., for unicode: `message.value.decode('utf-8')`
    print(
        "%s:%d:%d: key=%s headers=%s"
        % (
            message.topic,
            message.partition,
            message.offset,
            message.key,
            "".join(message.headers),
        )
    )


Kafka упорно получает только payload без заголовков.

Покопавшись - обнаружила что кафка BrokerConnection отсылает запрос, например,
FetchRequest_v3(replica_id=-1, max_wait_time=500, min_bytes=1, max_bytes=52428800, topics=[(topic='my-topic', partitions=[(partition=0, offset=19857795, max_bytes=1048576), (partition=3, offset=18443170, max_bytes=1048576)])]) for BrokerConnection его же принимает. Но там уже его нет.
b'\x00\x00\x00F\x00\x00\x00\x01\x00\x00\x00\x01\x00"***x00\x00\x00\x01\x00\x00\x00\x02\x00\x00\xff\xff\xff\xff\xff\xff\xff\xff\x00\x00\x00\x00\x00\xfaOc'

Линка на open source баг kafka
Подскажите куда копать?
  • Вопрос задан
  • 36 просмотров
Подписаться 1 Простой Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы