Как заставить работать Apache Kafka с большими файлами?

Question

[podguzovvasily]

Пытаюсь загрузить в Kafka файл больше 1MB и получаю следующую ошибку:

ERROR Error when sending message to topic test_topic with key: null, value: 6846219 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.RecordTooLargeException: The message is 6846307 bytes when serialized which is larger than 1048576, which is the value of the max.request.size configuration.

Использовал KAFKA:
https://hub.docker.com/r/bitnami/kafka/
https://hub.docker.com/r/wurstmeister/kafka/

Answer 1

[Vitaly Karasik]

https://hub.docker.com/r/wurstmeister/kafka/
" if you want to customize any Kafka parameters, simply add them as environment variables in docker-compose.yml, e.g. in order to increase the message.max.bytes parameter set the environment to KAFKA_MESSAGE_MAX_BYTES: 2000000."

Comments

[podguzovvasily]

Добрый вчер Виталий!
Добавлял следующие строки в docker-compose.yml:

KAFKA_MESSAGE_MAX_BYTES: 2000000
KAFKA_SOCKET_REQUEST_MAX_BYTES: 100001200
KAFKA_SOCKET_REQUEST_MAX_BYTES: 100001200
KAFKA_MAX_REQUEST_SIZE: 100001200

К сожалению та же ошибка. Возможно эти строки нужно было указать перед созданием контейнера?

[Vitaly Karasik]

podguzovvasily,

The message is 6846307 byte

то есть почти 7М
вам нужен
KAFKA_MESSAGE_MAX_BYTES: 10000000

Возможно эти строки нужно было указать перед созданием контейнера?

нет, это переменные окружения, контейнер читает их при старте

Тут https://stackoverflow.com/questions/21020347/how-c... упоминаются еще несколько параметров, не знаю насколько важны.

[podguzovvasily]

Увеличил, только вот к сожалению загрузка файлов возможна только в ручном режиме. Если в контейнере выполнить:

kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test_topic < /test.json

то выдает ту же ошибку. А вот если выполнить:

kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test_topic < /test.json --producer.config /opt/kafka/config/producer.properties

То файл загружается в топик. К сожалению, это не очень подходит, т.к. нет возможности посылать в Kafka данные извне. Каждый раз заходить в контейнер и прописывать параметр к загружаемому файлу не удобно. Спасибо.

[Vitaly Karasik]

Честно говоря, не понял проблему. Можно добавить "--producer.config" в скрипт.

Что у вас в producer.properties? Я думаю, можно добавить это же через environment variables в Kafka.

[podguzovvasily]

Да Виталий, попробую объяснить, инфраструктура запущена в трех контейнерах:
kafka
zookeeper
model

Model формирует JSON, пытается его закинуть в topic Kafka и т.к. JSON больше 1MB (ограничение по умолчанию для Kafka) падет с ошибкой. В логах Kafka видно что файл больше параметров по умолчанию.
Вручную я этот файл могу загрузить скопировав его из контейнера Model в Kafka и выполнив импорт командой:

kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test_topic < /test.json --producer.config /opt/kafka/config/producer.properties

Мне бы хотелось чтобы Kafka не накладывала ограничений на объем входных файлов и позволяла осуществлять импорт из контейнера Model

Для ручной загрузки из консоли необходимо прописать:
В docker-compose.yml:
KAFKA_MESSAGE_MAX_BYTES: 10000000
KAFKA_SOCKET_REQUEST_MAX_BYTES: 100001200

создать и примонтировать файл producer.properties с дополнительными параметрами:
max.request.size=10000000
message.max.bytes=10000000

Но повторюсь Kafka в этом случае позволяет лишь выполнять импорт JSON внутри своего контейнера с помощью консольной команды:

kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test_topic < /test.json --producer.config /opt/kafka/config/producer.properties

[Vitaly Karasik]

Я думаю проблема в том, что нужно увеличить лимит в контейнере Mode, который посылает данные.

Добавьте к нему
KAFKA_MESSAGE_MAX_BYTES: 10000000
KAFKA_SOCKET_REQUEST_MAX_BYTES: 100001200

[podguzovvasily]

Виталий, но в контейнере Model не установлена Kafka. Там скрипт на Python посылает данные.

[Vitaly Karasik]

Там нет кафки, но есть producer, у которого тоже есть лимит.
(насколько понимаю, может я ошибаюсь)

[podguzovvasily]

Vitaly Karasik, это действительно так. Решили проблему, добавив значение в код Python!