Почему запрос так долго выполняется?

Question

[daMage]

Есть 3 таблицы: keywords, images, images_keywords

SELECT SQL_NO_CACHE *
FROM keywords
JOIN(
	SELECT DISTINCT keywords.id
	FROM keywords
	JOIN images_keywords ON keywords.id = keyword_id
	JOIN images ON image_id = images.id WHERE images.space = 1
) as ids ON keywords.id = ids.id

Кто может обяснить, почему этот запрос выполняется 1.6с? Подзапрос возвращает ~800 id за 0.0004с, а количество записей в таблице keywords ~1000.


К сожалению, не сильно понимаю, что означают данные из explain. Вижу temporary table, вроде бы плохо, но это данные подзапроса, который выполняется мгновенно.

Comments

[Zhainar]

добавьте индексы к нужным полям

[daMage]

Zhainar: А нужные - это какие? JOIN по первичному ключу идёт

Answer 1

[Дмитрий Ковальский]

Я вообще не понимаю зачем построен такой запрос.
Почему просто не

SELECT k.* --Или лучше перечислить столбцы для выборки
  FROM keywords as k
  JOIN images_keywords ON keywords.id = keyword_id
  JOIN images ON image_id = images.id WHERE images.space = 1

Comments

[daMage]

Изображение может иметь несколько ключевых слов. images_keywords содержит миллион записей, поэтому нужно писать DISTINCT id. Можно было бы написать GROUP BY, но запрос крайне медленный

[daMage]

Я тут немного почитал про EXPLAIN. "Type all" означает, что mysql сканирует всю таблицу. Мне не понятно зачем он это делает, если есть первичный ключ? В possible_keys он, кстати, указан.

[Дмитрий Ковальский]

daMage: Хорошо, понял. не знаю сколько много полей в keywords, должно быть не много.
Попробуй

SELECT k.col1, k.col2, k.col3
  FROM keywords as k
  JOIN images_keywords ON keywords.id = keyword_id
  JOIN images ON image_id = images.id WHERE images.space = 1
GROUP BY k.col1, k.col2, k.col3

[daMage]

Дмитрий Ковальский: В том то и дело, что там много записей) Ну то есть, не миллиарды конечно, но пару миллионов будет. Приведенный запрос выполнился за 2.4с.

Answer 2

[Melkij]

SELECT DISTINCT keywords.id
  FROM keywords
  JOIN images_keywords ON keywords.id = keyword_id
  JOIN images ON image_id = images.id WHERE images.space = 1

С какой целью вы вообще в этом подзапросе джойните таблицу keywords?

SELECT DISTINCT keyword_id
  FROM images_keywords
  JOIN images ON image_id = images.id WHERE images.space = 1

Тот же самый результат будет.

Вообще, джойн с подзапросом вам и не нужен

SELECT SQL_NO_CACHE *
FROM keywords
WHERE keywords.id IN (
  SELECT DISTINCT keyword_id
  FROM images_keywords
  JOIN images ON image_id = images.id WHERE images.space = 1
)

Для mysql актуальных версий in subquery должен работать адекватно.

Comments

[daMage]

Да, сглупил, 1 join лишний, но проблема не решилась. Не могу понять, но подзапрос всегда выполняется быстро, а основной - около секунды(стал быстрее, когда убрал 1 join, но всё равно медленно). То есть, ведь в подзапросе выполняется основная работа. Я не могу понять, почему выборка записей из 8-ми сотен id отнимает так много времени? И почему не используется индекс, почему type = all?

[daMage]

Melkij Насколько я понял, подзапрос выполняется для каждой строки. То есть, он как-то коррелирует с основным запросом. Избавился от него, получилось:

SELECT SQL_NO_CACHE DISTINCT keywords.id, keyword
FROM keywords
JOIN images_keywords ON keywords.id = keyword_id
JOIN images ON image_id = images.id WHERE images.space = 1

Выполнился за 0.0004с.

[daMage]

Правда теперь я не могу сортировать, т.к. создается временная база из миллион записей

Answer 3

[Андрей]

м..

SELECT t.*
FROM keywords t
WHERE 1=1
    AND EXISTS( SELECT a.id FROM images_keywords a WHERE t.id = a.keyword_id )
    AND EXISTS( SELECT b.id FROM images b WHERE b.id = t.image_id and b.space =1 )