Где хранить и как загружать конфиги и параметры (main-local, params-local) в Yii2?

Question

[Тимур]

Здравствуйте. Подскажите пожалуйста, кто как решает следующую ситуацию:

Есть приложение, над которым непрерывно работает команда разработчиков. Приложение будет независимо развернуто на нескольких серверах (дедик или vps). Кодовая база одна и та же. На каждом production-сервере требуется конфигурирование приложения (подключение к БД и другие параметры, уникальные для каждого сервера) средствами main-local и params-local

Если взять в качестве примера yii2-app-advanced, то в нем предполагается для конфигов и параметров использовать файлы main.php и params.php которые лежат в репозитории, а для "перекрытия" локальных параметров production-сервера используются main-local.php и params-local.php которые не должны лежать в репозитории (содержат конфиденциальные данные) и данные для каждого сервера отличаются.

Вопрос: как загружать на сервер main-local.php и params-local.php для production-окружения, при этом поддерживать их в актуальном состоянии для каждого сервера? Что если кто-то из команды разработчиков переделывает что-то так, что это требует обновления этих файлов? Как не упустить этот момент?

upd: я понимаю, что можно файлы main-local.php и params-local.php предназначенные для production либо загружать на сервер через ftp/sftp либо править напрямую на сервере, но мне такой вариант не нравится, т.к. можно легко допустить ошибку, и это прежде всего не быстро. Например, обновить приложение я могу через git pull, а вручную конфиги мгновенно не поправить, придется ненадолго останавливать приложение. Пока в голове крутится вариант с отдельным git репозиторием для каждого production-сервера, тогда обновлять приложение можно будет так

cd /var/www/app; git pull; cd /var/www/app-config; git pull

что будет срабатывать почти мгновенно

upd: main-local.php и params-local.php имеются в виду те, что используются в production

Answer 1

[matperez]

Может поступить как советуют https://12factor.net/ru/ и грузить данные в конфиг для прод сервера через переменные среды. В конфиге будет что-то вроде:

'components' => [
  'db' => [
    'dsn' => getenv('db_dsn')
    ...
  ],
  ...
]

А в dev окружении можно оставить обычный конфиг. Ничего страшного что там будет логин и пароль к локальной базе.

А сами конфиги *-local.php храните там же они хранятся в yii-advanced - в папке environments.

Comments

[Тимур]

Спасибо, именно 12factor.net меня и натолкнуло на создание этого вопроса. Просто у меня в голове одна нестыковочка: я обновляю приложение на сервере посредствам git pull; composer install;

git pull подтягивает измененную версию приложения, которая может требовать изменения конфигурации. И тут опять, либо менять конфиги руками (что не быстро и может потребовать остановки приложения), либо подготовить sh-скрипт, который это сделает, но который тоже надо заливать на сервер, что не особо отличается от хранения main-local

Пока в голове крутится только вариант с тем, чтобы завести отдельный репозиторий с конфигами на каждый сервер, и делать на сервере git pull для конфигов. Так еще и версионирование конфигов будет. Что думаете насчет такого варианта?

[matperez]

Тимур: Храните конфиги в том же репозитории, что и код - это нормально. При деплое выбирайте правильное окружение (./init --env=Production --overwrite=y). Это все уже есть в yii-advanced. Разница в том, что в кофиге для продакшн окружения данные фактически нужно брать из переменных окружения. Таким образом вы сможет скрыть логины/пароли от разработчиков.

Скорее всего серверов у вас не много (иначе вы бы использовали автоматизацию для выкладки кода) а поменять на паре серверов настройки веб-сервера, чтобы задать новые переменные окружения для вашего кода не так уж долго и обычно требуются такие действия очень редко.

[Тимур]

Блин, я что-то сразу и не подумал скомбинировать скомбинировать файл и переменные окружения. Сейчас это кажется очевидным. Спасибо!

[Snorway]

matperez: пишут, что getenv - небезопасно (https://habrahabr.ru/post/264877/#comment_8539229), насколько это актуально?

[matperez]

Snorway: там же вроде и обсосали когда и где это небезопасно. Решайте сами. Я сам привык к связке nginx+php-fpm для которой данная проблема неактуальна и как-то уже не думаю про апач. Кроме того, на сколько я понимаю, в случае с конфигом приложения, планируется обращение только на чтение и то, что память разделяемая в этом случае вообще не будет иметь значения.

Answer 2

[Евгений Бухарев]

Дописать логику составления итогового конфига с привязкой к домену на котором работает система

Comments

[Тимур]

При таком подходе конфиги все равно должны лежать в репозитории

[Евгений Бухарев]

Тимур: да верно. Если этого не нужно, то тогда yii2-app-advanced из коробки это умеет, так как все -local файлы занесены в .gitignore

[Тимур]

evgenybuckharev: Вопрос не в том как избежать попадания конфигов в репозиторий, а в том, как их правильно "доставлять" на сервер, если они в репозитории не находятся. Посмотрите выше ответ matperez и мой комментарий к нему, там я чуть подробнее описал причину вопроса

[Евгений Бухарев]

Тимур: Как так получается что конфиги в репозитории не находятся? Там есть какая то секретная информация, которую не должны получать другие разработчики? Наиболее верная схема, это общий конфиг и по конфигу на окружение, и само приложение должно определять какой конфиг окружения объеденять с общим конфигом на том или ином окружении.
Production: config_base+config_production
Vasya: config_base+config_vasya
Petya: config_base+config_petya

Answer 3

[Дмитрий]

Добрый вечер.

Вопрос: как загружать на сервер main-local.php и params-local.php, при этом поддерживать их в актуальном состоянии для каждого сервера? Что если кто-то из команды разработчиков переделывает что-то так, что это требует обновления этих файлов? Как не упустить этот момент?

Просто удалите эти файлы из gitignore и появится возможность из грузить в репозиторий. Хотя зачем -local.php на другом сервере, если он содержит данные для конкретного сервера?

Comments

[Тимур]

Вы меня немного не так поняли. Про gitignore я понимаю, это само собой. Я имею в виду, что например в приложении появился еще один экземпляр БД, к которому есть отдельное подключение, которое надо конфигурировать. Его получается надо добавлять во всех main-local на всех серверах. На мой взгляд, лезть руками через ssh и редактировать файл "на живую" - плохой вариант, как и заливать измененный файл вручную через sftp.

Пока в голове крутится только вариант с тем, чтобы завести отдельный репозиторий с конфигами на каждый сервер, и делать на сервере git pull для конфигов

[Дмитрий]

Тимур: В -local.php размещайте конфигурацию только для своего сервера.
Например, я веду разработку, тестирую на своём личном сервере, зачем передавать куда-то данные о базе и доступ к ней. А если конфигурация общая, то и размещайте ещё в общих файлах.

[Дмитрий]

Тимур: в конфигурации components->db можно настроить подключение к нескольким базам, а какое именно использовать - в модели указать, контроллере....

[Тимур]

slo_nik: я сделал upd в основном вопросе. Понял, что сбивает людей с толку.

main-local.php и params-local.php имеются в виду те, что используются в production, и вопрос в том, как именно их (конфиги для production) лучше загружать на сервер. Вариант через ftp/sftp не нравится, как и с прямым редактированием файла на сервере т.к. довольно легко просто случайно ошибиться, поэтому пока думаю на каждый production-сервер завести отдельный git репозиторий, в котором хранить конфиги и подтягивать их через git pull

Просто варианты с ручными правками или перезаливками могут быть не быстры, а так можно будет обновить приложение используя

cd /var/www/app; git pull; cd /var/www/app-config; git pull - это сработает быстро, и не потребует даже кратковременной остановки приложения

Скажите, сейчас вы поняли, что именно я имел в виду и почему? Просто чтобы я мог проапдейтить вопрос