Laravel eloquent. Большое потребление памяти, долгая загрузка и огромное количество моделей. Как оптимизировать?

Question

[Александр]

Было так, затем я оптимизировал

И стало так

Но результатом не доволен. Количество моделей большое и будет рости.
Сам запрос

$jobs = \App\Company::with(['jobs.questionLanguages.question', 'jobs.questionLanguages.questionAnswer'])->where('id', $curCompanyId)->get();

Собственно и думаю как быть. Память жрёт как слон. Моделей миллион. Это можно как-то оптимизировать? Пока имеется один вариант - переписывать на чистом SQL.

Comments

[N]

Пока имеется один вариант - переписывать на чистом SQL.

Ну можно не прям уж на "чистом" SQL...а всё таки пользоваться инструментами фреймворка...

https://laravel.com/docs/9.x/queries

[Александр]

N, да я так и планирую) но там надо связать около 8 таблиц и думаю чистый sql быстрее отработает. В идеале бы найти решение на Eloquent. Например чтобы он не в обьекты складывал выборку, а в массив

[Дмитрий]

Александр, ->get()->toArray() ? хотя оно там по сути циклом перегоняет

[Дмитрий]

Александр, Дмитрий, ну можно без моделей.

\App\Company::where('id', $curCompanyId)->getQuery()->get();

Модели юзаться не будут. Однако и про eager loading придется забыть соотвественно

[Дмитрий]

Но вообще как бы. Если вы загружаете миллион записей в память - будет жопа. Используйте chunk или cursor

[Александр]

Дмитрий, так ещё дольше по времени, вместо 3 секунд получаю 9 секунд выполнения, а памяти есть +- столько же

[Дмитрий]

Александр, что именно? Получение stdclass вместо моделей?

[Александр]

Дмитрий, я другому Дмитрию ответил, на ответ использовать ->get()->toArray()

[Дмитрий]

Александр, не мудрено, он сначала обрабатывает в модели, а потом в массив.

[Александр]

Дмитрий, я не знаю как применить chunk или cursor. По той причине, что в одной месте у меня вызывается метод, $jobs = $this->getCurrentJobs();.
а этот метод уже находиться в другом месте(в нём запросы) и там все данные обрабатываются, причем этот метод ещё и с другим сотрудничает. Как тут чанк использовать не ясно

[Дмитрий]

Александр, да вполне нормально прошла оптимизация, скорость выросла в 8 раз, памяти не смертельно используется

[Ilya Loopashko]

Можно попробовать laravel-xhprof

[Дмитрий]

Александр, в том месте где вы обрабатываете миллион записей

[Александр]

Дмитрий, проблема происходит на моменте выборки. Это несколько десятков тысяч моделей. А обработка идёт в другом месте. Поэтому и никак чанк использовать не могу. В момент обработки толку нет от чанка. Ибо уже всё выбрано и работает это чудо 20-30 секунд

[Дмитрий]

Александр, ну может быть вам выбирать миллионы записей в тот момент когда вы будете обрабатывать. тут все равно особой выгоды от eager loading не будет. еще раз - подход а давайте в память захреначим миллион чего либо - обречен на провал. окей - может вы запихнете миллион элементов массива, а моделей влезет всего лишь 100 тысяч. Но жить это будет до момента когда в выборку не попадет миллион и 100 тысяч. То есть стоит менять подход - а не пытаться экономить на спичках

Answer 1

[Григорий Васильков]

Там же фильтровать можно:

$query = Model::query()
  ->with([
    'relation' => function ($query) { $query->where('field', 'value'); },
  ]);

И потом, на кой вам сдалось выдергивать из базы ВСЕ ОПРОСЫ, на странице поди больше десятка не поместится. А варианты ответов тоже не сразу нужны, вероятно, что можно для одного "открытого" запрашивать, это если за оптимизацию говорить.