Python kafka не получает заголовки от apache kafka.
Как воспроизвести
попробовать прочитать заголовки через kafka?
consumer = KafkaConsumer(
"mz-core-document-manager-responses",
auto_offset_reset="latest",
group_id=None,
api_version=(0, 10, 1),
bootstrap_servers=[
....
],
)
for message in consumer:
# message value and key are raw bytes -- decode if necessary!
# e.g., for unicode: `message.value.decode('utf-8')`
print(
"%s:%d:%d: key=%s headers=%s"
% (
message.topic,
message.partition,
message.offset,
message.key,
"".join(message.headers),
)
)
Kafka упорно получает только payload без заголовков.
Покопавшись - обнаружила что кафка
BrokerConnection отсылает запрос, например,
FetchRequest_v3(replica_id=-1, max_wait_time=500, min_bytes=1, max_bytes=52428800, topics=[(topic='my-topic', partitions=[(partition=0, offset=19857795, max_bytes=1048576), (partition=3, offset=18443170, max_bytes=1048576)])]) for BrokerConnection его же принимает. Но там уже его нет.
b'\x00\x00\x00F\x00\x00\x00\x01\x00\x00\x00\x01\x00"***x00\x00\x00\x01\x00\x00\x00\x02\x00\x00\xff\xff\xff\xff\xff\xff\xff\xff\x00\x00\x00\x00\x00\xfaOc'
Линка на open source баг kafka
Подскажите куда копать?