Как ускорить запрос при groupBy?

Question

[kaxa3201]

Как можно ускорить выборку? Записей очень много

$rows->get()->groupBy(function ($item) {
                    return sprintf(
                        '%s by %s',
                        $item->created_at->format('Y-m-d H:i:s'),
                        is_null($item->user) ? 'undefined' : $item->user->getNameAttribute()
                    );
                }
            )->paginate($paginate);

Результат моей выбоки

Comments

[Максим Грищенко]

1. покажите итоговый запрос
2. покажите используемые индексы

[jazzus]

не получать всю коллекцию

[kaxa3201]

Максим Федоров,
1.Запрос до группировки коллекции

select `revisions`.`id` as `id`, `revisionable_id`, `user_id`, `old_value`, `new_value`, `revision_keys`.`name` as `field_name`, `revision_types`.`name` as `model_name`, `created_at` from `revisions` inner join `revision_keys` on `revisions`.`revision_key_id` = `revision_keys`.`id` inner join `revision_types` on `revisions`.`revision_type_id` = `revision_types`.`id` where `revisionable_id` in (?) and `revision_types`.`name` = ? order by `revisions`.`id` desc

2. Индексы (revisions_created_at_index,revisions_revision_key_id_foreign,user_id)

[kaxa3201]

jazzus, Пробовал chunk использовать но такой же результат не получилось получить как на скрине

[Максим Грищенко]

kaxa3201, у вас выборка идет не по индексам

выполните explain

кроме того inner join — декартово произведение, лучше сделайте outer (left/right) join

или разбейте запросы на несколько быстрых и выбирайте по индексу записи

[kaxa3201]

Максим Федоров, просто самая тяжелая и долгая обработка выполняется обход коллекции, можно ли эту часть ускорить?

[JhaoDa]

kaxa3201, а зачем ты сначала получаешь все записи, а потом делаешь по ним делаешь группировку и пагинацию?

[Антон Антон]

Максим Федоров, left и right join никак не улучшат текущий inner join

Answer 1

[Антон Антон]

Если это прям постоянно нужно, то можно провести денормализацию: добавить модель-таблицу со значением группировки (return sprintf(
'%s by %s',
$item->created_at->format('Y-m-d H:i:s'),
is_null($item->user) ? 'undefined' : $item->user->getNameAttribute()
); и вот это всё), и поле в исходной таблицы с её id, сделать по значению группировки индекс, получать только нужные значения группировки из этой таблицы, а затем после получения страницы уже получать туда нужные данные исходной таблицы, например через https://laravel.com/docs/8.x/eloquent-relationship...

Comments

[kaxa3201]

Кстати я пробовал accessor добавить и запрос стал дольше на пару секунд…

[Антон Антон]

kaxa3201, я не про изменение текущего запроса, а про изменение структуры БД, дополнительно одна таблица и одна колонка, которые драматически ускорят выборку. Не надо будет читать всю таблицу с огромным количеством строк и большим количеством колонок, надо будет читать только таблицу с двумя колонками, и то не целиком + не целиком, а по индексу читать кусок "большой" таблицы. если чтение происходит чаще (а судя по всему оно происходит чаще), то суммарный выигрыш будет сильно больше, чем увеличение задержки при записи.

Answer 2

[Вячеслав Плиско]

Вы путаете запрос к базе и работу с коллекцией.
$rows->get() - вернула вам уже кучу мусора, а дальше вы с ней работаете на стороне php. Делайте группировку на стороне ДБ средствами sql
$rows->groupBy(...)->get()