MariaDB(mySQL) — как быстро(!) оставить только уникальные варианты?

Question

[Андрей]

Вопрос больше общего характера, чем по конкретной ситуации.

В ответ на запрос получаем ответ:
1,2,5,8,1,2,2,4,3,5,7
Нужно получить только уникальные(не повторяющиеся) значения - такое:
1,2,5,8,4,3,7

Обычно для этого используют SELECT DISTINCT или GROUP BY если первое невозможно.

Проблема в том, что запрос без SELECT DISTINCT выполняется примерно за 4 мин(база большая - это довольно приемлемо.)
Запрос с SELECT DISTINCT - выполняется уже порядка получаса, это очень долго.

Как эффективно решать такие задачи?

Answer 1

[Андрей]

Помогло использование вместо DISTINCT

GROUP_BY + индекс на столбец по которому он выполняется.

Exploding - персональное спасибо!

Answer 2

[buzina_v_ogorode]

Никак.
Для выполнение DISTINCT нужна сортировка - а это долго.

Как вариант - общая оптимизация.
Посмотрите по EXPLAIN PLAN что у вас не так идет, что слишком долго.

Answer 3

[ой всё]

сортировать в базе, дубликаты убрать кодом

Comments

[Андрей]

можете пожалуйста более развернуто ответить?

[ой всё]

Андрей, в каком смысле?

[Андрей]

AnneSmith, я немного новичок, и думаю что вы написали неплохой вариант, но не пойму, как это реализовать.

сортировать в базе, дубликаты убрать кодом

Что значит сортировать в базе?
Дубликаты убрать кодом - отдельно смысл понятен, а тут нет. Тем более, что результат запроса сохраняется в файл при помощи INTO OUTFILE '/tempS/temp12.txt'

[Андрей]

AnneSmith, пожалуйста, если не сложно - объясните свой ответ, просто подскажите где почитать об этом/как гуглить.

сортировать в базе

ведь это Вы не SQL ORDER BY /GROUP BY имеет ввиду же?

[Exploding]

Андрей, а индексы для этих полей определены кстати?

[Exploding]

Андрей, может быть быстрее просто все слить в массив и уже там array_unique() юзать?

[Андрей]

Exploding, идея классная, но когда ответ на запрос содержит несколько миллионов значений - то это вряд-ли будет работать корректно.
Вообще, сейчас таблица без индексов(так посоветовали в соседнем вопросе) - но сейчас попробую добавить по одной из колонок.