Как в Yii2 вставлять базовые данные в базу?

Question

[Михаил]

Нужно внести начальные данные в базу. В yii есть миграции, но они скорее для структурных изменений.

Есть идея создать контроллер и компонент в консольном приложении. Какие есть пути реализации?

Comments

[Никита]

Ничего страшного в использовании миграций нет. А если без этих данных приложение не работает, так тем более нужны только миграции.

[Михаил]

Никита: решил сделать в виде миграций, посмотрим как выйдет.

Есть 3 варианта:
1) Добавить данные в up миграции для таблицы.
2) Добавить данные в отдельные миграции для каждой из таблиц.
3) Добавить данные в 1 миграцию для всех таблиц сразу.

Что будет лучше?

[Никита]

Михаил: safeUp() в MySQL не спасет если 1 схема мигрирует, а 2ая сфейлит - отката не будет. Поэтому все манипуляции со схемами лучше делать 1:1 (1 миграция - 1 изменение схемы). Следовательно мешать с данными не стоит.
А как вы вставите данные - ваше дело (и вообще какая разница?). Главное все в транзакцию - safeUp().

[Михаил]

Никита: Если я правильно понял, смешивать создание схем и данных не стоит? Тогда остается выделять в отдельную миграцию данные. А что на счет порядка выполнения, что если миграция данных будет раньше схем?

[Никита]

Михаил: для этого в названии миграции (при ./yii migrate/create) прикладывается timestamp.

Answer 1

[Антон Иванов]

Всё-таки, в миграциях Yii 2.0 есть методы для вставки данных, например

$this->insert(...);
$this->batchInsert(...);

Answer 2

[Евгений Бухарев]

Посмотрите в сторону Faker
https://github.com/fzaninotto/Faker
Библиотека для генерации тестовых данных.
Для генерации можно использовать те же миграции. В up методе создаете тестовые данные, в down методе их стираете

Comments

[Михаил]

Слышал про нее, но я имел ввиду что данные не тестовые, а необходимые для работы :)

Answer 3

[Дмитрий]

Добрый вечер.

Есть идея создать контроллер и компонент в консольном приложении.

Так за чем остановка? Делайте.
Но миграцию всё равно создайте, миграция может только создавать или удалять таблицу/поле таблицы, а может и сразу данные записать.
Например так

public function up()
    {

         $this->createTable('{{%country}}', [

            'id' => $this->primaryKey(),
            'name' => $this->string()->notNull
         ]);

         $this->batchInsert('{{%country}}', ['name'], [
                                                        ['Абхазия'],
                                                        ['Австрия'],
                                                        ['Андора'],
                                                        ['Аргентина'],
                                                        ['Болгария'],
                                                        ['Бразилия'],
                                                      ]
                           );

    }

Можно без записи в базу данных, просто создать таблицу, а для заполнения написать консольный скрипт, через который можно будет вносить новые данные в базу обходясь без crud.

По этой ссылке Вы сможете, на примере создания аккаунта пользователя, познакомиться с консольным управлением (в конце статьи).

Comments

[Михаил]

Да, я знаю как реализовать, больше интересовал какой именно подход лучше. Сейчас остановился на дополнительной миграции с вставкой данных в нужные таблицы.

[vyachin]

миграции нужны для управления СТРУКТУРОЙ базы данных, а не самими данными. Вставлять данные миграциями - очень плохая идея. "Шурупы можно забивать молотком, но правильнее закручивать шуруповертом". Я для таких вещей создаю консольную команду. У нас в команде один "молодец" миграциями файлы на диске перемещает )))

[mitaichik]

vyachin: "миграциями файлы на диске перемещает "

Почему нет? Главное чтоб down корректно обратно все возвращал. И откуда это все "миграции нужны для управления СТРУКТУРОЙ базы данных"? Миграции для изменения структуры данных, да. Но, во первых - данные - это не только база данных. Да, в класс миграции встроенны плюшки для работы с БД - оно и понятно - 90% изменений структуры данных - это бд. Но картинки загруженные пользователями - это не данные?

Про "структуру" я б тоже подискуссировал: разве не бывает такого что при изменении структуры данные не меняются? Вот простой пример - есть у вас 2 поля - дата и время. Вы решили их объединить в DATETIME, ну и соответсвенно, в новое поля записать старые данные (к дате прибавить время) И что, вы действительно будете делать миграцию только на изменение структуры? Если мы сделаем миграцию типа "создать новое, удалить старое" - просрем данные. По вашему получается что нужно сделать две миграции и одну консольную команду: миграция "добавить новое поле", команда "заполнить новое поля данными из старых", миграция "удалить новое поле". Вы действительно так делаете? Реально?

И при применении миграции вы смотрите список невыполненных, думаете, ага, сейчас я мне нужно сделать первые три миграции, потом Колян говорил что там какую-то комманду надо выполнить? Как ее название? сommand_after_commit_0234234? Вроде да? Потом еще 2, потом комманда от Макса... Вы действительно так работаете?

И интересно, как вы оповещаете других 10и разрабов о том что надо выполнить какие-то команды?

Давайте на чистоту: никто так не делает. Все следалют это все в одной миграции, которая содержит не только изменение структуры, но и модификацию данных, возможно, и вставку новых.

Кстати, как мы помним, на изменение структуры транзакции не работает . Но миграциях есть safeUp safeDown - обертка транзакциями, специально для манипуляции с данными. Видимо разработчики yii не знали что миграции чисто для структуры, иначе б удалили эти ненужные методы.

[vyachin]

почему в миграциях Yii есть safeUp/safeDown - потому что некоторые базы данных поддерживают транзакции с DDL читаем тут сравнение https://wiki.postgresql.org/wiki/Transactional_DDL... Mysql в этот список не входит.

"Давайте на чистоту: никто так не делает." - да, именно так и делают в больших проектах.

[Никита]

vyachin: как вы создадите папку или переместите файлы от которых зависит корректная работа приложения?

То, что у вас нет опыта и/или вы делаете неправильно не говорит о том, что "так надо". Убивает особенно фразочка от некоторых "я ж всегда так делал и ничего, нормально".

[vyachin]

Никита: предлагаю вам использовать миграции для

патчить php файлы
сжимать и минифицировать css и js файлы
перезагружать службы или даже весь сервер целиком
управлять правилами firewall

Однако давайте использовать инструменты по назначению. Все же миграции нужны для управления структурой базы данных. Советую почитать про миграции в других библиотеках
https://phinx.org/
https://laravel.com/docs/5.3/migrations
symfony.com/doc/current/bundles/DoctrineMigrations...

А для деплоя есть другие инструменты - например ansible

[Никита]

vyachin: вы с чем сравниваете? Какие php файлы? У вас какой опыт работы? Пишите какой-то дикий псц.
Что будете делать, когда для корректной работы приложения необходимо генерировать картинку по маске, которая лежит в виде файла? А что если этот файл куда-то нужно переместить?

[Никита]

vyachin: по вашим ответам можно сказать что вы соображающий человек, как такое вообще можно было написать? Особено "перезагружать службы" и "управлять правилами firewall" вообще убило. Через миграции? Серьезно?

Answer 4

[mitaichik]

Создаешь дамп базы изначальной. Ложишь в файл куда-нить, делаешь миграцию которая выполняет этот файл.

Comments

[Антон Иванов]

Аж передёрнуло ... "ложишь"

[Никита]

Антон: да и метод "передергивает"

[mitaichik]

Никита: Обоснуйте. Человеку надо инициалищировать БД. Простой пример - проект в котором я работаю: сейчас ~150 таблиц + ~700 миграций, изначально было ~100 таблиц + сотня тысяч строк статичных данных. В чем преимущество оформлять всю это инициализацию с помощью миграций (опуская мнимое "всегда можем перейти на другую БД")? Сколько недель человек потратит чтобы написать все эти миграции? Сколько ошибок он сделает при этом (в отличии от создания DDL в GUI и дампе этого всего)? Насколько медленнее все это будет выполнятся, например, при поднятии машины с нуля для запуска тестов или еще чего?

Миграции - да, очень крутая штука, но как бы само название говорит что они для мигрирования. Использование их для инициализации - имхо, бессмысленно.

[mitaichik]

И это ведь еще не самый большой проект, на предыдущей работе было 300 таблиц (правда не изначально) + 40 коллекций в монго и гигабайт начальных данных.

[Михаил]

mitaichik: Быть может вам будет полезно, сам использовал https://github.com/michael-vostrikov/yii2-migratio...

[Никита]

mitaichik: обычным текстовым редактором (например Sublime) это решается просто за минуту(ы) (если знать что делать вообще секунды) даже при наличии большого количества данных. Медленнее будет на количество ms прочтения и интерпретации php (может ещё какие факторы - хз, надо мерить, но отличия маленькие в скорости).

1 - ТСу нужны "начальные данные", но не факт что эти данные инициализации. Я имею в виду, что разработка велась месяц, тут добавилась новая таблица с дефолтными данными - и что, это нужно добавлять через ./yii init?
2 - Как вы инициализируете данные после создания таблицы и будете уверены в том, что попытка занесения данных будет не до, не во время, а именно после создания таблицы?

P.S. личный интерес =) - что за тип приложения, которому нужны сотни тысяч строк данных без которых приложение не будет работать?

[mitaichik]

Никита: С Sublime не знаком, но что то мне подсказывает что он вряд ли сможет превести типы столбцов из SQL'a DDL таблицы в абстрактные типы столбцов yii. Ну или SQL строку INSERT в соответсвующий yii-эквивалент с php-кодом и массивом. Если же вы тупо будете вставлять SQL код в миграцию, то чем же он принципиально отличается от предложенного мною варианта.

Сотня тысяч строк - довольно часто нужны, как правило это либо справочники (один кладр чего стоит), либо исторические данные (например курсы валют за последние года). Понятно что они потом обновляются, но если их обнавлять с нуля - долго получается, имеет смысл зашить в инициализацию какую-либо фиксированную пройденную точку.

[Никита]

mitaichik: Notepad сможет, а Sublime и подавно.

Так вот со справочниками подробнее можно? Если данных НЕ будет, то приложение не запустится?