Поиск большого количества записей в mysql

Question

[SharkyFLY]

Есть БД (mysql) с большим количеством записей (больше миллиона) в формате || *id* || *word* || *value* ||. Есть массив со списком значений для поиска в column1. То есть

БД

|| *id* || *word* || *value* ||
|| 1 || val1 || 12 ||
|| 2 || val2 || 13 ||
|| 3 || val3 || 33 ||



Массив
$word[] = "val1";
$word[] = "val3";


массив как и сама бд может быть очень большим… как сформировать запрос чтоб минимально нагружая базу получить значения из колонки value к словам из массива $word

Answer 1

[shushu]

Всё таки рекомендую использовать

WHERE word in ('a', 'b', 'c') но с лимитом, например в 100 штук (поигратся нужно с подбором лимита)

ну и да, убедится что в массиве только уникальные слова, что бы не делать лишних запросов.

+ индекс должен быть на word

Comments

[Vitali Borovik]

Скорее всего это какой-то поиск по словам, индексы тут ему вряд ли подойдут, лимит тоже не подойдет если нужен весь результат.

[Vitali Borovik]

Кстати, подумай над тем, что бы соединить массив в 1 строку и сделать 1 запрос по любому из слов в строке. Если строка получается длинная можно разбить на несколько, в любом случае запрос станет быстрее.

Answer 2

[Dzen_Marketing]

Индексы хоть есть?

Comments

[SharkyFLY]

а как же)

[Константин]

А какие индексы?

Answer 3

[archibaldtelepov]

1. какой процент слов для поиска в массиве от общего количества записей?
2. Если меньше 1% (я не помню, до какого значения использование индекса актуально), то может сделать двухходовую комбинацию вида:

1) создать таблицу временную с одной колонкой
2) залить в неё массив
3) выбрать все, что надо, написав JOIN созданной временной таблицы с основной, по которой ищем, содеинив их по значению поля word?

Answer 4

[Константин]

WHERE `tabulka`.`sloupec` IN ('a','b','c')?

Comments

[SharkyFLY]

пробовал( бэнчмарки ну вобще не порадовали(

[Vitali Borovik]

Используйте кеширование, и данное решение, должно работать на порядок быстрее.

[Константин]

А что за база данных? Индексы?

[Константин]

Попробуйте поставить hash индексы.

[Константин]

Вопрос может и грубый, но сколько весит ваша база данных? может сделать таблицу в меморы? :-)

[avryabov]

1. Индексы на *word* безусловно должны быть

2. по поводу запросов типа word in ('val1','val2',...):
Иногда, особенно на большой таблице выгоднее написать 100 запросов типа word=valN,
чем один запрос типа in со 100 значениями внутри.
Это связано с тем как mysql оптимизирует запрос IN.
Оптимизация может быть очень фиговой.
Если я не ошибаюсь, он действует так: берет самое большое и самое малое значение из аргументов in, а среди них уже просто перебирает все слова на совпадение.
Так по крайней мере раньше было.
Если есть слова типа 'а' и 'я' — перебор будет по всей таблице как без индекса.
Попробуй сделать expain на select.
И проверь, что происходит.
К тому же если таблица обновляется не часто, а некоторые слова приходят часто, то эти запросы mysql закеширует и будет отдавать очень быстро. В отличии от запроса in — который мало вероятно, что повториться целиком.

Answer 5

[skvot]

Если возможно, храните в массиве ID записей, выборка по ним должна быть быстрее.

Comments

[shushu]

подозреваю что задача стоит именно в поиске этих id для заданных слов

[SharkyFLY]

нет невозможно(

Answer 6

[Vitali Borovik]

Кстати, подумай над тем, что бы соединить массив в 1 строку и сделать 1 запрос по любому из слов в строке. Если строка получается длинная можно разбить на несколько, в любом случае запрос станет быстрее. WAYS, сегодня в 13:56

Answer 7

[chevanin]

Могу ошибаться, но простой запрос на выборку 1М строк без сортировки особо базу нагрузить не должен.
Если в колонке *word* будут не сильно большие строки фикс. длины, то можно действительно попробовать покрывающий индекс или вынести таблицу целиком в оперативку (зависит от объема оперативки, можно напороться на своп и сделать только хуже)
Можно попробовать использовать NoSQL — как тут например tokarchuk.ru/2010/10/nosql-in-mysql-improve-mysql/
Можно какое-нибудь key-value хранилище использовать типа редиса…