chupasaurus

Вам docker-compose нужен при таком workflow, а не k8s.
А вообще нормальные люди пользуются системами контроля версий, и пуш с настроенным автодеплоем будет гораздо лучше.

Для парсинга файлов нужно использовать filebeat, в нём работа с файлами организована по-человечески.