Какие инструменты использовать при поиске в базе с большими данными?

Question

[Alexander]

Нужно реализовать подобный функционал как https://hh.ru/search/vacancy?text=&area=1

Все данные хранятся в postgres базе. Как я вижу решение данной задачи:
1) Подключить NoSQL базу.
2) Каждые 4 часа запускать крон задачу которая будет синхронизировать postgres с nosql базой, считать кол-во резюме в городе, по полу, по зп, etc. Или ловить событие когда изменились определенные таблицы в Postgres и запускать синхронизацию с nosql.

Comments

[Дмитрий Шицков]

Поясните, зачем здесь NoSQL и что не так с postgresql?

[Alexander]

Дмитрий Шицков, Если я буду через django orm фильтровать данные в postgres. То это займет очень много времени, больше 1 минуты. Так как данных много и условий тоже. Из за этого была идея изначально идея с nosql хранить кол-во "резюме в Москве" и другие критерии как на скрине.

[Дмитрий Шицков]

Alexander, ну, положим критерии вы будете хранить (почему бы не хранить их так же в postgresql, я пока не понял) - но фильтроваться вам всё равно по ним придётся. Нужно же будет еще искать все эти "резюме в Москве".

Хранимые счетчики так же можно обновлять при каждом добавлении или удалении данных, а не вычислять при запросах.

[Alexander]

Pavel Denisov, Сейчас у меня 73тыщ резюме, нужно подсчитать сколько резюме к примеру в МСК, затем разделить их по полу и подсчитать их кол-во. К примеру результат должен быть таким:

[
    {
        'name': 'Мск',
        'count': 100000,
        'sex': {
            'male': 50000,
            'female': 50000
        },
        'prices': {
            '50000': 10,
            '30000': 100,
            ...
        }
    }
    ...
]

И это по всем городам, и еще есть другие критерии как "возраст", "сфера", etc.

[Alexander]

Pavel Denisov, согласен никак, по этому был не уверен и задал вопрос. Теперь знаю что моя задача называется "Faceting".

Answer 1

[Евгений Мальцев]

Elasticsearch, для Django есть django-haystack как пример.

Answer 2

[marazmiki]

Если про фасетирование речь, то лучше всего, на мой взгляд, использовать elasticsearch. Но не обязательно, если уже используете Postgres.

Answer 3

[sim3x]

Нет никаких больших данных
noSQL магически никак не решит вашу задачу
Ваша задача решается средствами самого постгреса
Для полнотекстового поиска используйте sphinxsearch

Comments

[d'Ivan]

А полнотекстовый поиск в PostgreSQL чем плох?

[sim3x]

Роман Мирр,
https://www.youtube.com/watch?v=gJXWqkf6CX8&t=11m

СУБД - для хранения, поиск - другая задача