Те переменные, которые могут часто меняться, храните прямо на сервере или configmaps в кубере
Те переменные, которые секреты - в хашикорп или другом хранилище секретов.
Все остальные, для изменения которых можно подождать новый билд - просто храните в коде в виде профайлов для каждого енвайрнмента.