правильный ответ - не хранить конфиги с секретами в системе контроля версий.
ты можешь сделать так, чтобы конфиг из гита предоставлял т.н. "sensible defaults", а все секреты будут переопределены вторым конфигом, который подложит система деплоя.
Это про твои приложения.
про управление конфигурациями узлов (контуперов, то бишь), кошерно использовать системы управления конфигурацией - ansible, salt и пр.
Из наколеночного есть
etckeeper, например