Как лучше создать поиск для сайта используя MySql + ElasticSearch?

Question

[atis //]

И так сразу к делу.
Необходимо создать поиск товаров на сайте.
ES ищет по названиям, Mysql фильтрует данные по дополнительным фильтрам указанным юзером.
Все бы хорошо. Но. Как это дело мапить?
Тянуть из ES десять тысяч id и добавлять в Sql запрос не очень хочется.
Хранить все фильтры в ES тоже особого желания нет.
Реально это все дело красиво смапить и превратить в выдачу?
Сервис работает на Yii2 но официальный екстеншен не юзается ( у нас ES 5.0 ).

PS: данных 10м. В скором времени будет до 100м.

Answer 1

[al_gon]

Обычно в таких сценариях всё лежит в поисковом движке. Всё это поля для поиска и id самого товара. Больше этого не надо.
Идет запрос к ES обычно страничный, находятся Id's идет запрос к SQL и вытаскиваются все нужные поля, часто между ES и SQL есть кэш.

Как упаковать в Yii2, это отдельный вопрос (коим не владею), скорее всего вам понадобится позже фасетированние и автокомплит.

Comments

[al_gon]

И да, хранимые фильтры лежат в SQL, а работают по ES.

[atis //]

al_gon: атрибуты товаров хранить в SQL, а данные фильтровать через ES?
дубль данных?

[atis //]

если я правильно понял

[al_gon]

atis //: несовсем. Поля в ES и вSQL абсолютно разные могут быть и своей роли и значениям которые они хранят.

Answer 2

[atis //]

Решил сделать так:
Все данные необходимые для фильтрации буду хранить в ES.
Необходимые данные подтягивать из MySql (картинки, отзывы, etc ).
В мускле будет храниться полный набор для фильтрации товаров. На всякий.
При изменении которых буду апдейтить индекс в еластике.

Comments

[xfg]

Что будет, если в результате сбоя данные в mysql изменятся, а в ES нет? Например упало приложение до апдейта ES, но после mysql. Со временем, будет расхождение в данных.

Я бы лучше сделал синхронизацию по крону. Можно просто добавить поле updated_at и при каждом insert/update писать туда таймштамп. Скрипт раз в N времени приходит, забирает новые данные и раскладывает в ES. Можно также посмотреть готовые решения https://www.elastic.co/guide/en/logstash/master/pl...

Поиск будет отдавать немного устаревшие данные, но возможно это не критично и менеджерам можно объяснить, что мы тоже тут не боги.

Answer 3

[Алексей Черемисин]

Кладете все данные в ES, и агрегациями делаете и фильтры и ищете. А уж если так хочется и MYSQL, то в нем можно например пользователей хранить, только не пойму, нафига оно нужно, если есть ES.
distinctplace.com/2014/07/29/build-zappos-like-pro...

Comments

[atis //]

нафига мускл нужен? а если еластик отвалится? у меня даты на 20 гигабайт.

[Алексей Черемисин]

atis //: А чего ему падать-то? делайте кластер!

[Алексей Черемисин]

atis //: Да и мускул также хлопнуться может. А у эластика еще и снапшоты есть, пользуйте.

Answer 4

[Dimonchik]

sphinx + MVA + Facet

но вы продолжайте с Эластиком )))

Comments

[atis //]

низачтооооо! сфинкс стремный. я с ним уже намучался. мою жизнь спас эластик =)

Answer 5

[xmoonlight]

можно так