Как оптимизировать SQL запрос с LEFT JOIN?

Question

[Jonh Doe]

Есть база sqlite и две таблички
в первой (requests) всякие данные (около 26000)
во второй (requestrewards) requestid и число (примерно 125000 записей)
надо выбрать пять самых больших requests по сумме из requestrewards

Код ниже делает это более чем за 1 секунду

SELECT SUM(value) as `total`, requestid, R.*, R.rowid as id
FROM `requestrewards`
LEFT JOIN `requests` as R ON R.rowid = requestrewards.requestid
GROUP BY `requestid` ORDER BY `total` DESC LIMIT 5

Очень хочется оптимизировать, т.к. нужны реальные данные. Кеш не подойдет.

Answer 1

[Geckelberryfinn]

А индексы пробовали создать на колонках по которым делаете left outer join ?

Comments

[SergeProfessor]

Спасибо. Аналогичная проблема была, добавил индексы, запрос выполнялся > 60 сек., сейчас 0.0051 сек.

Answer 2

[PCHELA_MATKA]

Добрый день!

А если попробовать в начале получить сгруппировать 2 таблицу, тем самым получить сумму(как я понимаю requestid не уникальный идентификатор). После выбрать top 5 из получившегося запроса и соединить с первой таблицы.

Comments

[Jonh Doe]

Попробую. Спасибо. Позже отпишу о результатах.

Answer 3

[svd71_1]

попробуйте так:

select total, requestid, R.*, R.rowid as id
from 
(
select sum(value), requestid from requestrewards
group by requestid
order by total
) as rr
LEFT JOIN `requests` as R ON R.rowid =rr.requestid

хотя проблема в R.*. Вам точно все поля из той таблицы нужны?

Comments

[Jonh Doe]

Проблема точно не в R.* потому-что основная нагрузка на requestrewards при суммировании.

[svd71_1]

Проблема именно в нем. Поставьте себя на место сервера и попробуйте сначала объединить данные, а потом по ним еще раз пробежаться для группировки или сначала сгруппировать, а потом объединять. Скорость операций увеличивается в разы.

[Jonh Doe]

Посмотрите explain такого запроса и поймете что не в нем.

[Jonh Doe]

Ваш вариант вообще кидает эксепшн по невозможности эллокейшена памяти.

Answer 4

[Jonh Doe]

Пока решил проблему триггером на запись. Но это не выход а костыль.