Как заставить работать Apache Kafka с большими файлами?

Vitaly Karasik, это действительно так. Решили проблему, добавив значение в код Python!

Как заставить работать Apache Kafka с большими файлами?

Виталий, но в контейнере Model не установлена Kafka. Там скрипт на Python посылает данные.

Как заставить работать Apache Kafka с большими файлами?

Да Виталий, попробую объяснить, инфраструктура запущена в трех контейнерах:
kafka
zookeeper
model

Model формирует JSON, пытается его закинуть в topic Kafka и т.к. JSON больше 1MB (ограничение по умолчанию для Kafka) падет с ошибкой. В логах Kafka видно что файл больше параметров по умолчанию.
Вручную я этот файл могу загрузить скопировав его из контейнера Model в Kafka и выполнив импорт командой:

kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test_topic < /test.json --producer.config /opt/kafka/config/producer.properties

Мне бы хотелось чтобы Kafka не накладывала ограничений на объем входных файлов и позволяла осуществлять импорт из контейнера Model

Для ручной загрузки из консоли необходимо прописать:
В docker-compose.yml:
KAFKA_MESSAGE_MAX_BYTES: 10000000
KAFKA_SOCKET_REQUEST_MAX_BYTES: 100001200

создать и примонтировать файл producer.properties с дополнительными параметрами:
max.request.size=10000000
message.max.bytes=10000000

Но повторюсь Kafka в этом случае позволяет лишь выполнять импорт JSON внутри своего контейнера с помощью консольной команды:

kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test_topic < /test.json --producer.config /opt/kafka/config/producer.properties

Как заставить работать Apache Kafka с большими файлами?

Увеличил, только вот к сожалению загрузка файлов возможна только в ручном режиме. Если в контейнере выполнить:

kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test_topic < /test.json

то выдает ту же ошибку. А вот если выполнить:

kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test_topic < /test.json --producer.config /opt/kafka/config/producer.properties

То файл загружается в топик. К сожалению, это не очень подходит, т.к. нет возможности посылать в Kafka данные извне. Каждый раз заходить в контейнер и прописывать параметр к загружаемому файлу не удобно. Спасибо.

Как заставить работать Apache Kafka с большими файлами?

Добрый вчер Виталий!
Добавлял следующие строки в docker-compose.yml:

KAFKA_MESSAGE_MAX_BYTES: 2000000
KAFKA_SOCKET_REQUEST_MAX_BYTES: 100001200
KAFKA_SOCKET_REQUEST_MAX_BYTES: 100001200
KAFKA_MAX_REQUEST_SIZE: 100001200

К сожалению та же ошибка. Возможно эти строки нужно было указать перед созданием контейнера?

Как выполнить groovy скрипт через планировщик?

Огромное спасибо Виталий! Это действительно работает, единственное что он пытается исполнить test.groovy из домашней папки /root и мне пришлось скопировать все файлы туда. Возможно ему также можно указать папку для исполнения? К сожалению, /home/vasily/test.groovy он не воспринимает. Т.е. такая строчка в CRON:
49 10 * * * root /bin/sh -c /home/vasily/.sdkman/candidates/groovy/current/bin/groovy /home/vasily/test.groovy
Не срабатывает и CRON упорно не хочет выполнять скрипт по заданному пути.

Есть ли рабочий мануал по настройке NGINX + PERL под Ubuntu?

Вот что в логах:
*261 FastCGI sent in stderr: "Cannot get script name, are DOCUMENT_ROOT and SCRIPT_NAME (or SCRIPT_FILENAME) set and is the script executable?" while reading response header from upstream

Есть ли рабочий мануал по настройке NGINX + PERL под Ubuntu?

Спасибо, я к сожалению не указал под Ubuntu, уже исправил. Не ставится CentOS-кий spawn-fcgi fcgi-devel.

Можно ли гражданину РФ получить карту Payoneer на адрес в США?

А что насчёт Королевства Таиланд и Республики Беларусь? Какие потребуются документы для данных стран гражданину РФ? Нельзя ли будет также непосредственно нанести визит в UK?

Как проверить конфигурацию NGINX с помощью Bash?

Все верно, с первым пунктом я поступал точно также вначале, также были и варианты указанные Вами выше:

CHECK=$(nginx -t)
echo "Result: $CHECK"

и

CHECK=`nginx -t`
echo "Result: $CHECK"

но только eval давал корректное присвоение с двойными кавычками:

CHECK="nginx -t"
eval $CHECK

Я сразу подозревал что осуществляю поиск в том, в чем его нельзя осуществить но никак не мог понять почему, я даже пытался сделать вывод в файл для дальнейшего взятия результата (хотя это костыль):

eval $CHECK > result

Но файл был пустой. Копируемый результат в консоли сбивал меня с толку.

В итоге Вы подсказали правильное решение!!!

Как проверить конфигурацию NGINX с помощью Bash?

Павел спасибо еще раз огромное, и хотя команда eval $CHECK возвращала результат даже при присвоении переменной CHECK команды в кавычках "nginx -t". Сравнить подстроку не удавалось, как я понял, как раз потому что вывод nginx -t как впрочем и nginx -v, не является текстом, соответственно и сравнить он эти значения попросту не мог. Спасибо еще раз, буду разбираться подробнее в этом вопросе.

Как проверить конфигурацию NGINX с помощью Bash?

Понял Павел, так, согласен, намного эффективнее, интересно почему же все же не находилась подстрока в строке по моему сценарию? Всю голову сломал. Видимо это было просто невозможно.

Как проверить конфигурацию NGINX с помощью Bash?

Павел, Добрый день. Это реально работает. Просто супер! Первая строка присваивает 1 если конфигурация не верна, и 0 если проверка прошла успешно? В любом случае спасибо!

Mysql отстает реплика или почему-то сервер работает очень медленно?

Как бы Вы кластер держали? :-)

Mysql отстает реплика или почему-то сервер работает очень медленно?

А Мускуль ли? :-) Неплохая это скорость. Дамп базы обычно больше то и не бывает, если у Вас конечно не Хайлоад

Запуск Angular приложения на сервере в фоне?

Спасибо за развернутый ответ. Да, нужно создать docker-compose.yml в котором будет NGINX, Postgres, Express.js для API ну и Angular как фронтенд. Оно работает, но вот Angular приложение пока не удается добавить в указанный Выше файл. Похоже что придется самому создать контейнер вместо офишл версии. В принципе можно наверное создать bash скрипт для запуска приложения на Angular, но это наверное костыль. Почитаю то что Вы посоветовали. Извините у меня практически нет опыта в этом, поэтому и вопрос может казаться странным.