Какой подход для поиска лучше?

Question

[AnjeyTsibylskij]

Задача: сделать быстрый поиск по нескольким таблицам. Например, пользователь вводит в строку поиска слово «биткоин» и результатом должен быть список постов, тегов, пользователей.

1. Первый вариант сделать отдельные запросы к каждой таблице (сущности)
   
   Плюсы:
   
   • Простая и прозрачная логика
     
   
   Минусы:
   
   • Сущностей (таблиц по которым нужно искать) гораздо больше, как следствие это дорогостоящая операция.
     
   
   
2. Второй вариант сделать общую таблицу, в которую буду помещать строку сущности для поиска, тип и id всех сущностей.
   
   title | type | id
   Иван Иванов | user | 1
   Apple news | post | 54
   Toster | tag | 12
   
   Плюсы:
   
   • Быстрый поиск по одной таблице
     
   • По результатам выборки с одной таблицы, можно чётко узнать какие сущности есть, чтобы сделать отдельный запрос к конкретной сущности для выборки дополнительной информации. Например, вводим «Иван» и результат с одной таблицы говорит, что у нас есть только пользователи по такому запросу и не нужно лезть в посты и теги
     
   
   Минусы:
   
   • Таблица будет очень быстро расти
     
   • Нужно следить за всеми сущностями и обновлять название, если они изменились
     

Какой подход лучше с точки зрение производительности и правильности архитектуры БД? А также жду ваши решения.

Comments

[Константин Нагибович]

В вашей СУБД поддерживается полнотекстовый поиск?

[AnjeyTsibylskij]

Константин Нагибович: да, POSTGRESQL

[Константин Нагибович]

AnjeyTsibylskij: так может тогда и воспользоваться готовым инструментом, чем изобретать свой?

[AnjeyTsibylskij]

Константин Нагибович: подскажите каким?

[Константин Нагибович]

AnjeyTsibylskij: почитайте тут.

[AnjeyTsibylskij]

Константин Нагибович: мануал мануалом, там нет моего кейса, уже проверял. Мне же нужно обойти 6 таблиц и сделать поиск по названию в каждой из них. Вот я и спрашиваю, возможно лучше сделать одну общую таблицу, поместить туда все название, всех сущностный с указанием на них? Тут вопрос больше архитектурный, нежели технический

Answer 1

[Максим Федоров]

Лучше не изобретать велосипед и воспользоваться ElasticSearch или Sphinx

Comments

[AnjeyTsibylskij]

На сколько я понимаю, они все ровно не решат мою задачу. Мне же нужно обойти 6 таблиц и сделать поиск по названию (varchar 255) в каждой из них. Возможно лучше сделать одну общую таблицу, поместить туда все название, всех сущностный с указанием на них? pgsql по одной таблице с правильным индексом будет искать быстро.

Или мы говорим о разном?

[Максим Федоров]

AnjeyTsibylskij: они как раз и предназначены для решения Вашей задачи, поэтому рекомендую все таки посмотреть в эту сторону. Сейчас у Вас поиск по 6 таблицам, потом изменяться бизнес требования и таблиц станет больше + еще ж нужно релевантность учитывать. В общем изобретения своего способа довольно не универсальная вещь грозящая гемором в будущем

[freeExec]

AnjeyTsibylskij: Какие у вас там будут индексы, если вы хотите из Иван Иванов выцепить только Иван

[un1t]

Почему ты считаешь что поиск по 6 таблицам будет медленным? Какой объем данных?

[AnjeyTsibylskij]

Максим Федоров: ок, то есть я беру, например Sphinx и делаю те же 6 запросов к разным таблицам?

[AnjeyTsibylskij]

un1t: разные таблицы, разные данные. Теги 40М + 10К каждый день, юзеры до 1М, посты 5М + 5К каждый день и т.д

[Алексей Черемисин]

AnjeyTsibylskij: вы делаете через эластик или сфинкс поиск не по таблицам, а по документам. А документом давайте будем называть объект пользователя или объкт записи блога. Например, запись блога имеет: заголовок, публикатора, дату публикации, теги, тело публикации, комментарии пользователей. Вот по всем этим данным и можно построить ОДИН запрос, типа, найти все записи с тегом "питон", от пользователя "кимчи", со словом в заголовке "проблема", с датой от 2017 года, и пользователем "тандыр" который оставил к записи комментарий.

[jacob1237]

AnjeyTsibylskij, у Sphinx и ElasticSearch собственная база данных. Эти поисковые движки хранят ИНДЕКСЫ Ваших данных, и при поиске Вы работаете напрямую с ними, а не с оригинальной БД.
А когда данные были найдены, по полученным результатам уже делаете запрос в основную БД, вытаскивая всю необходимую инфрмацию.

То есть поисковые движки это "прослойки" для основной БД, которые сами хранят какие-то данные и ищут по ним.

Но прежде чем использовать их, нужно будет составить индекс и настроить синхронизацию.