Можно как-то ускорить doctrine flush?

Question

[Максим]

Здравствуйте!

Имеется 8000 товаров + категории + наличие на складе. Парсятся из сsv.
Итого при вставке доктриной выходит около 16 000 строк. По времени занимает 1 минута +- 10 секунд.
Так как вставка происходит автоматом в цикле - для избежания утечек памяти php используется конструкция

foreach(.... $key->$value) {
....... создание объектов и persist
if($key % 20 === 0 ) {
	$em->flush();
	$em->clear();
}
}
$em->flush();
$em->clear();

, благодаря которой flush кушает не 120, а 50 мб. При этом по времени потери не значительные - добавляет 10 секунд.

Интересует вопрос, нормальная ли это скорость для такого объёма данных или можно ускорить?

Answer 1

[Алексей Романенко]

Тут время и память тратятся не только на flush(). Создание объекта тоже будет отнимать время.
Доктриной скорее всего ускорить не получится. Можно вставлять через pdo.

Comments

[Максим]

если убрать flush, то время выполнения скрипта становится 30 секунд, это время на создание объектов и persist

[Максим]

если убрать ещё и persist, то скрипт отрабатывает за 20 сек. Это и есть время создания объектов, получается так?

[Алексей Романенко]

если убрать flush -- не будет работы с базой. если убрать persist не будут объекты попадать в uow. некорректно это сравнивать. ну и 20 секунд это много, доктрина все равно делает какую то работу, и она очень прожорлива и по времени и по памяти. Если нужно быстро и с малыми затратами добавить объекты в базу делайте в pdo.

[Максим]

Алексей Романенко убрал просто, чтобы посмотреть на что остальное время расходуется, конечно без них не будет работать.
На сколько по-вашему будет прирост во времени, если доктрину заменить на pdo?

[Алексей Романенко]

Максим: сложно сказать, нужно знать какие у вас данные в базу сохраняются. Но мне кажется в 2 раза точно можно получить ускорение.

[Максим]

Алексей Романенко
понял.

Answer 2

[gtr52]

Попробуйте покопать в сторону:
$em->flush($object);

При реализации одной синхронизации в интернет-магазине, тоже столкнулся, что обновление занимало все больше и больше времени, с каждым следующим товаром.
$em->clear(); не помогало, как я понял при $em->flush(); - доктрина проходится по списку сущностей в памяти, которые в нее загружались и проверяет было ли изменение, так вот проверка - занимала огромное кол-во времени.
Итого при использовании $em->flush($object); - парсинг XML на 4000 товаров и обновление их данных в базе - укладывается в секунд 5-10.
Может поможет)