Как наиболее эффективно написать SQL запрос на поиск строк, которые содержат одно из списка значений (over 1500 разных)?

Question

[Ai Lab]

Суть в вопросе, есть некий список слов(идентификаторов) и over 100 млн строк в базе по полю без индекса, нужно выбрать те из них что содержат любое слово из списка. Слабо представляю, что такое вообще может быть оптимальным, поэтому вопрос скорее какой запрос позволит получить нужную информацию максимально быстро, насколько это вообще возможно.

Answer 1

[terrier]

Так, возможно, следует создать соответствующий индекс для текстового поиска? Пример для одной из конкретных СУБД.
Если же враги запретили вам создавать индексы в базе, то быстрее всего было бы выгрузить значения в кэш - префиксное дерево в памяти и дальше запрашивать уже по нему

Comments

[Ai Lab]

в данном случае можно считать что запретили, про префиксное дерево думаю тоже не вариант, т.к. процесс его создания будет 100% медленнее чем просто поиск один раз, фактически мне нужно только 1 раз эту выгрузку сделать, но не хочется ждать неделю пока он будет исполняться

[terrier]

vpuhoff: Если выгрузка одна, то сложно придумать что-то более продвинутое, чем select <что-надо> from <откуда надо> where <текстовый атрибут> in (<список из 1500>). При этом надо удостовериться, что ваша реализация не проходит постоянно линейно по списку из 1500 атрибутов, а хэширует их и проверяет попадание атрибутов из таблицы в хэш.
Если ( вдруг ) она этого не делает, то надо сделать hash join ( явный или неявный ) с этим списком.
Что-то
select <что-надо> from <откуда надо>
join
values ( <список из 1500>)

Также, возможно, временная таблица будет нагляднее

[Ai Lab]

terrier: я могу ошибаться, но насколько мне известно in совсем не то же самое что и поиск вхождения подстроки (которых много), это скорее что текстовый атрибут равен одному из списка. С join ничего путного не выходит, ближайшее похожее по оценке тода выдало Cost over 1,5 Млрд и 3 петабайта памяти на запрос

[terrier]

vpuhoff: А, если нужна именно подстрока, тогда прошу прощения, не совсем очевидно это было. В таком случае повторюсь, нормальным решением было бы все-таки создать специализированный индекс ( и дропнуть его после запроса, если он так мешает)

[Ai Lab]

terrier: размер базы к сожалению не позволяет просто так добавлять индексы, там одна только эта таблица содержит почти 2 млрд записей, в выборке хоть ограничить датой можно, чтобы все не лопатить, а с индексом придется предварительно перелопатить все, а уже потом выборку делать

[terrier]

vpuhoff: Таблица на 2млрд. с датами и непартиционированная? Если нет, может, materialized view на данные с нужной датой сделать?