Как не вываливаться в memory limit при работе с доктриной?

Question

[galliard]

Есть консольный скриптик, который работает пол часа где-то и должен внести в базу несколько миллионов записей. Проблема в том, что в какой-то момент я упираюсь в память, при том что скрипту выделено 2 ГБ. Увеличивать не вижу смысла - все равно сожрет, не сейчас - так позже.

Скорее всего это происходит потому, что доктрина что-то там кэширует внутри себя, но как это все отчистить?
$this->entityManager->clear();
не помогает.

Переписывать на sql не предлагать, скрипт большой, сложный, переписывать придется овердохрена.

Comments

[tukreb]

возможно где-то нужно добавить переменным unset()
Вообще без кода сложно разобраться где у вас утечка памяти.

[Дмитрий]

Может какие либо логи или ещё что стакается в массив

[galliard]

tukreb, у меня её нигде нет, она есть где-то в доктрине, потому и задан вопрос.

[tukreb]

galliard, то есть? Что у вас за запрос тогда?

[galliard]

tukreb, Создание новой сущности, персист, флаш. И так несколько миллионов раз. Примерно через пол миллиона отваливается.

Answer 1

[part_os]

1. выполняйте пачками, выберите оптимальное количество 100, 500, 1000
2. между пачками зачищайте доктрину, и мусор

use Doctrine\Persistence\ManagerRegistry;
 private ManagerRegistry $registry;

        $this->registry->reset();
        
        foreach ($this->registry->getConnections() as $connection) {
            $connection->close();
        }

        gc_collect_cycles();

Comments

[galliard]

Это не помогло.

[part_os]

Вы можете код показать, который и как использовали пример?

[galliard]

part_os,

$entity = new Entity(...);
$this->entityManager->persist($entity);

if ($i % 10 == 0) {
    $this->entityManager->flush();

    $this->registry->reset();
    foreach ($this->registry->getConnections() as $connection) {
        $connection->close();
    }
}
gc_collect_cycles();

И так в цикле несколько миллионов раз.

[part_os]

Почему вы решили что течёт тогда именно тут?

[part_os]

Пробовали закомментировать запись в БД и прогнать скрипт,?

[galliard]

part_os, потому что больше негде.

[galliard]

part_os, пробовал, комментировать flush, результат тот же.

[part_os]

galliard, в prod режиме? а то там может логер сожрать всё

[galliard]

part_os, Логгер чего? Доктрины? У нее есть логгер?

[part_os]

galliard, вы же симфони используете, обычно он там есть.

[galliard]

part_os, возможно, но я никогда его не видел ни в симфони, ни в доктрине.

Answer 2

[index0h]

Попробуйте уменьшить выборки и вставки, по чаще вызывайте очистку энтити менеджера, где это уместно. Запускайте сборщик мусора

Comments

[galliard]

Энтити менеджер и так вызывается каждые 10 вставок примерно, это не помогает. Выборки там вообще по одной энтити запрашиваются по первичному ключу.