@podguzovvasily

Как заставить работать Apache Kafka с большими файлами?

Здравствуйте! Пытаюсь загрузить в Kafka файл больше 1MB и получаю следующую ошибку:

ERROR Error when sending message to topic test_topic with key: null, value: 6846219 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)
org.apache.kafka.common.errors.RecordTooLargeException: The message is 6846307 bytes when serialized which is larger than 1048576, which is the value of the max.request.size configuration.

Использовал KAFKA:
https://hub.docker.com/r/bitnami/kafka/
https://hub.docker.com/r/wurstmeister/kafka/
  • Вопрос задан
  • 40 просмотров
Решения вопроса 1
@vitaly_il1
DevOps Consulting
https://hub.docker.com/r/wurstmeister/kafka/
" if you want to customize any Kafka parameters, simply add them as environment variables in docker-compose.yml, e.g. in order to increase the message.max.bytes parameter set the environment to KAFKA_MESSAGE_MAX_BYTES: 2000000."
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы