Вопросы по теории symfony?

Question

[Hfnas]

1) Если мне нужно получить сущность,c которой мне надо работать, то мы выбираем CreateBuilder без добавления селекта.
2) Выбирать только нужные поля из селекта, если делаешь createbuilder. Правильно?
А если тебе нужен гуид(значение поля , ссылающее на друю таблицу (многие к одному)). Ты должен делать

$this->CreateBuilder("m")->select("IDENTITY(m.guid)".

.. (но это долго, в таком случае наверное, проще будет убрать select). Правильно?
3) Я долго мучилась, никак не могла понять месяцов 5 , почему заполнение таблицы так долго идет, вижу доктрина жутко тормозит, обновляет в бд очень и очень долго 3 мин, если обновлять и создавать через обьекты. А если напрямую вставить (использовать update (createBuilder update)- то очень быстро ), к сожалению нет инструмента createBuilder-insert , придется добавлять через сущности. Отсюда вывод, что в симфони обновлять нужно через запросы(добавление не доступно), а не сущности, правильно? Или конкретный вопрос,в каком случае нужно использовать сохранение через сущности, а в каком через запросы? В laravel получается то же самое, нужно обновлять тоже через запросы, а не через activeRecord?
4) Как измерять время работы каждой строчки кода в симфони (для команды)? Для веб страницы существует профайлер(хотя не поняла его предназначение). А для команды, как измерить блок кода(5 месяцев не могла понять , почему так долго выполнялся код, сохранение одной сущности занимает очень много времени-20 сек.), не оборачивать его же метками времени?
5) и еще вопрос, если я выбираю в контролере сущность с помощью CreateBuilder, не указывая подсущности.(Например, вывожу список пользователей(`users(id name address_id)`), у которых есть подсущность адресс(Таблица `address (id name )` подсоединена к `user`, как один к многим)). Для вывода в twig адреса, делается дополнительный запрос в бд(select * from address where id=1). Поэтому, правильнее сделать изначально выборку нужных полей

$this->createBuilder('u')->join("u.addressId", 'a')->addSelect("a.name as address")->getQuery()->getResult()

?

Comments

[tukreb]

Хороший пример как нужно делать https://github.com/ElisDN/demo-project-manager
Если в 2 словах.
1. То что отображаем, пишем руками запросы.
https://github.com/ElisDN/demo-project-manager/blo...

2. То что редактируем или добавляем, через доктрину.
https://github.com/ElisDN/demo-project-manager/blo...

А далее оптимизировать там где бутылочное горлышко.

Лучше покажите код, который работает по 20 секунд и 3 минуты :)

[Hfnas]

tukreb, 2440 строк заполняет за 3 мин

$productBD = $this->getOne($id);
            $flagCreate = false;
            if ($productBD == null) {
                $productBD = new Modeling();
                $productBD->setId($id);
                $flagCreate = true;
            }

            $productBD->setProduct($product->getProduct());
            $productBD->setDateModeling($dateObj);
....


            if ($flagCreate)
                $this->setCreate($productBD);
            else
                $this->setSave();

2440 строк заполняет за 30сек

$this->createQueryBuilder("m")
                ->update()
                ->set('m.product',':product')
                ->set('m.dateModeling',':dateModeling')
                ....
                ->where("m.id=:id")

                ->setParameter('product',$productsEntity->getGuid())
                ->setParameter('dateModeling',$dateObj->format("Y-m-d"))
             ....

                ->setParameter('id', $id)
                ->getQuery()
                ->execute();

[tukreb]

Hfnas, а что показывает symfony debug?
Сколько запросов к БД делает ваш код при добавление и сколько при обновление?

там же если память не изменяет в последних версиях симфони можно посмотреть и статистику выполнение запросов.

Ваш пример кода, много информации не даёт. кроме, что используется не очень красивые решения, но они не показывают проблемы, ну не так явно :)

[Hfnas]

спасибо за внимание!

что показывает symfony debug?

про это не знаю, пользуюсь дебагом от php. Придется изучить. Поэтому не скажу совсем. За подсказку спасибо,изучить инструмент надо будет.

там же если память не изменяет в последних версиях симфони можно посмотреть и статистику выполнение запросов.

- про это тоже не скажу. Эти операции вставки-обновления делает команда, заданная в консоли. Как отследить тоже не знаю( я обернула строчки в тайминг, чтобы вычислить, сколько что работает)
Но хочу сказать , с каждой итерацией растет сохранение сущности в бд.(1 способ? yначиная с середины сохранение сущности занимает 2сек)
А какие красивые решения, мне главное, заполнить таблицу по формулам на основе 3х таблиц. Выборки быстрые. а вот вставка/обновление через сущность (1способ) 2440 строчек занимает 3мин,
а второй способ 3 сек. (во втором способе придется делать создание через сущность, так как мы не можем делать createBuilder()->insert())

Возможно, проблема в том, что придется сохранять поле (многое к одному.) Как я поняла Вас, правильнее делать сохранение в бд через сущность(те первым способом).

[Hfnas]

2. То что редактируем или добавляем, через доктрину.
https://github.com/ElisDN/demo-project-manager/blo...

Это нужно для того, чтобы твиг не запрашивал дополнительно выводимое поле "один ко многим"?
Например, вывожу список пользователей(`users(id name address_id)`), у которых есть подсущность адресс(Таблица `address (id name )` подсоединена к `user`, как один к многим)). Для вывода в twig адреса, делается дополнительный запрос в бд(select * from address where id=1). Поэтому, правильнее сделать изначально выборку нужных полей

[tukreb]

Вы предоставили мало информации.
По коду, я могу предположить, что вы можете делать 2440 встакок кода, вместо одной большой.
А если у вас это вставляется всё же одним запросом, то возможно стоит разбить это допустим пачками по 100-200 строк.
В общем не понятно как у вас реализовано.

Это нужно для того, чтобы твиг не запрашивал дополнительно выводимое поле "один ко многим"?

Если у вас правильно описаны сущности, доктрина не тянет все сущности за раз, а только тогда, когда идёт обращение.
Чтобы "твиг" не делал миллион запросов к бд, пишут ручные запросы, без использования доктрины.

[Hfnas]

tukreb, Благодарю за внимание,!!!!

Если у вас правильно описаны сущности, доктрина не тянет все сущности за раз, а только тогда, когда идёт обращение.
Чтобы "твиг" не делал миллион запросов к бд, пишут ручные запросы, без использования доктрины.

Теперь поняла. Спасибо ОГРОМНЕЙШЕЕ. Просто удивилась, что в профайлере симфони появились доп запросы, которые я не делала....

По коду, я могу предположить, что вы можете делать 2440 встакок кода, вместо одной большой.
А если у вас это вставляется всё же одним запросом, то возможно стоит разбить это допустим пачками по 100-200 строк.
В общем не понятно как у вас реализовано.

Да, верно: Делается циклом по 24 записи всего шагов 120- Итого 2440вставок/обновлении (вариант 1 или вариант2)
Одним запросом заполнить всю таблицу невозможно, так как каждый шаг рассчитывается на основе предыдущего. Буду делать второй вариант, раз он быстрее. Потому, что как иначе, я не знаю. Расчеты на основе предыдущего шага быстрые, проблема была в сохранении сущности, почему именно сохранение сущности тормозит, я не знаю.

public function setCreate($entityMS)
    {
        $this->entityManager->persist($entityMS);
        $this->entityManager->flush();
    }

    public function setSave()
    {
        $this->entityManager->flush();
    }

когда идёт обращение

имеется ввиду второй способ, спасибо. Просто не знаю, что такое "обращение".

[tukreb]

Я уже вижу потенциальную проблему

public function setCreate($entityMS)
    {
        $this->entityManager->persist($entityMS);
        $this->entityManager->flush(); // это делает обращение к БД для модификации данных
    }

Это значит, что каждый раз вызывая этот метод, вы будете делать обращение к БД.

flush доктрины нужны вызывать только тогда, когда вы готовы изменить данные в БД.
Например подготовили все сущности нужными данными, а затем выполнили flush. + это так же автоматом оборачивается всё одной транзакцией, и если в середине запроса произойдёт ошибка, то откатятся все изменения и не останутся битые данные.
В данном случае, судя по вашему методу, вместо того, чтобы вставить за раз 2440 строк или разбить по 100-200 штук, вы вероятно вставляет по 1 строчки, а это будет 2440 запросов к бд.

Посмотрите как в примере используются flush(), там все действия на модификацию БД вынесении в сервис *handler (в папке Model/blabla/UseCase), там сначала выполняются все манипуляции с сущностями, а потом и только потом в самом самом конце вызывается flush.

[tukreb]

Здесь есть примеры как разбить обновления БД пачками (по 20 строк)
https://www.doctrine-project.org/projects/doctrine...

В общем тоже самое что и описано мною выше, выполнять flush(), когда подготовили нужное количество данных в сущностях

[Hfnas]

tukreb, Спасибо, Добрый Человек!!! Вы меня спасли, не знаете как!!! Извините, за долгий ответ, приболела я. Да, причина, в этом. Быстро летает.

[tukreb]

Hfnas, хорошо что всё хорошо разрешилось :)

[tukreb]

Hfnas, в том репозитории где пример на Symfony, есть адрес на мастер класс по Symfony. рекомендую его посмотреть. Хоть мастер класс и создавался под Симфони 4.3-4.4, но актуальность нисколько не потерял, а те знания, что вы там получите позволят без проблем использовать наработки при любой разработки.
П.С Мастер класс можно найти на торрентах, если жалко платить ;) рекомендую просматривать на скорости х2 (повествования слишком медленное)