Doctrine detach?

Question

[Кирилл Горелов]

Есть симфони команда, которая проверять в БД наличие определенных записей и добавляет новые.
При добавление новых записей мы падаем по памяти в 128М. Нужно сделать что бы мы не падали.

public function execute(InputInterface $input, OutputInterface $output): int
    {
        $batchSize = 50;
        $existingDeviceSerialNumbers = ['1', ..........'10000'];

        $toSave = [];
        for ($i = $startSerialNumber; $i <= $stopSerialNumber; $i++) {
            if (in_array((string)$i, $existingDeviceSerialNumbers, true)) {
                continue;
            }

            $entityDto = new Entity(........);
            $entity = $this->repository->create($entityDto);
            $toSave[] = $entity;
            $output->writeln(sprintf('count %d', $i));

            if ((count($toSave) % $batchSize) === 0) {
                $this->unitOfWork->saveChanges($toSave);
                foreach ($toSave as $item) {
                    $this->entityManager->detach($item);
                }
                $this->unitOfWork->clear();
                $toSave = [];
            }
        }

        if ($toSave !== []) {
            $this->unitOfWork->saveChanges($toSave);
        }
        return Command::SUCCESS;
    }

Почему-то утекает память....
Хотя используем detach и clear
И падаем по памяти, буду рад любому замечанию....

Comments

[Антон]

Мне как-то в подобной ситуации (правда не с доктриной, а в принципе) помогло вынесение тела цикла в функцию. Всякие unset'ы внутри цикла не помогали, а вот как вынес код каждой итерации в функцию - так сразу памяти стало хватать. Почему - копаться уже не стал.

[Кирилл Горелов]

Антон, проверил)
не помогло))

[tukreb]

Вам лучше на GitHub узнавать где проблема в утечки памяти.

Answer 1

[usr58]

наверное, можно не откреплять сущность если мы используем clear в конце цикла

у меня так работает:
$this->entityManager->clear();
gc_collect_cycles();

Comments

[usr58]

public function execute(InputInterface $input, OutputInterface $output): int
{
        $counter = 0;
        $batchSize = 50;
        $existingDeviceSerialNumbers = ['1', ..........'10000'];

        for ($i = $startSerialNumber; $i <= $stopSerialNumber; $i++) {
            if (in_array((string)$i, $existingDeviceSerialNumbers, true)) {
                continue;
            }

            $entityDto = new Entity(........);
            $this->entityManager->persist($entityDto);

            $counter++;
            $output->writeln(sprintf('count %d', $i));

            if (counter % $batchSize) === 0) {
            	$this->entityManager->flush();
            	$this->entityManager->clear();
                gc_collect_cycles();
            }
        }

        $this->entityManager->flush();

        return Command::SUCCESS;
}

Answer 2

[Дмитрий Гординский]

Массив $toSave не очищается после обработки батча.

Comments

[Кирилл Горелов]

Очищается, я просто забыл переименовать переменную с прода....