Много составных индексов или один на много полей?

Question

[Оптимус Пьян]

Делается гибкий поиск как в магазинах электроники по параметрам.
Есть поле A вместе с ним часто будут запрашиваться другие поля A+B иногда до 5 полей A+B+C+D+E иногда A+F+G сейчас есть несколько составных индексов типа A+B или A+G но понятно что в любой момент вылезти запрос секунды на 2 который запрашивает колонку которой нет в составном индексе.

Что лучше дальше пытаться подобрать оптимальные варианты составных индексов, или сделать один составной индекс сразу на 10 полей от А до G например?
Ситуация осложняется тем что данные обновляются очень часто и минимальное время UPDATE крайне важно.

Answer 1

[Максим Федоров]

Что лучше дальше пытаться подобрать оптимальные варианты составных индексов,

Здесь нужно знать меру, не стоит забывать - чем больше индексов тем больше будет места на сервере занимать база и тем медленнее будет производиться запись данных.

или сделать один составной индекс сразу на 10 полей от А до G например?

в этом случае индекс не будет использоваться, читайте как устроены индексы в MySQL ruhighload.com/post/%D0%A0%D0%B0%D0%B1%D0%BE%D1%82...

вообще рекомендовал бы Вам посмотреть в сторону поисковых движков...

Comments

[Оптимус Пьян]

Поисковых движков? Например? Я думал эластик и сфинкс только для текстового поиска...

[Максим Федоров]

эластик вполне справиться с фильтром по товарам

[Оптимус Пьян]

Максим Федоров: а есть ещё способ организации двух баз когда как-то в одну только пишется (там индексов нет), а из другой только читается (там все индексы), не помню как называется, мне в этом случае он не сможет помочь?

[Максим Федоров]

Вы имеете ввиду Master-Slave репликацию, но оно Вам особо не поможет, т.к. данные все равно будут вставляться на Slave и там их придется индексировать.

[Оптимус Пьян]

Максим Федоров: Да верно но всё же 1) С мастера хотя бы не будет чтения пользователей 2) Данные на слейв можно перекидывать оптом ночью

[Максим Федоров]

хотите - попробуйте реализовать, но как по мне, извините конечно, но Вы сейчас изобретаете велосипед ...

Answer 2

[Roman K]

Переехать на постгрес, использовать jsonb с индексом и эластик.

Comments

[Оптимус Пьян]

Так у меня не в jsonb данные вроде... Эластик не только по тексту ищет?

[Roman K]

Оптимус Пьян: ну так сделай, чтобы были в jsonb

Answer 3

[Eduard]

если поле А достаточно селективное и всегда участвует в поиске, то одного индекса на А и хватит. А если не хватит, то как выше уже заметили, надо смотреть в сторону поисковых движков. Поле А достаточно селективное, если каждый элемент содержится не более чем в 5% записей. 5% взято с потолка, но это хорошее значение для таблиц до миллиона записей.
Но я бы сначала составил тестовый сценарий, а потом уже занимался оптимизацией.

Comments

[Оптимус Пьян]

3 млн, селективность 10% запрос A+B без составного индекса 1,2 сек

[Eduard]

Оптимус Пьян: даже для 3 млн это долго. А какое окружение? Это виртуальная машина? Какие еще службы работают на сервере, например файловый сервер. Какие диски и сколько пямяти?

[Оптимус Пьян]

Eduard: Знаю что долго, потому что с составным это 0,005 Обычный VDS 1Гб ram 1 ядро процессора всё стандартно, диск не SSD, KVM виртуализация. Да есть ещё сайты на сервере но БД они не задействуют.