Best practices по хранению в бд записей с 30 полями и быстрым поиском?

Question

[alex99505]

Есть таблица, в ней нужно хранить >= 30 поле (числовых, varchar - до 255 символов), также в ней или по связи нужно иметь поле string, где будет храниться сериализированный массив с параметрами, которые не нужны для поиска.
В один конкретный момент предполагается, что будем иметь около 2 000 000 записей. Одни будут каждый день удаляться по условию, другие добавляться в течении дня постоянно.

Также нужен быстрый поиск по всем полям.

Comments

[Webber]

а в чем проблема? создавайте поля, выбирайте правильно тип, анализируйте запросы для поиска и стройте индексы подходящие. 2м это совсем не много записей

[alex99505]

Webber, есть опасение, что будет задержка, если делать обычным путем. Так как записи и добавляются и в тот же момент читаются 30ю клиентами

[Дмитрий Шицков]

Почему столько разных тэгов? Какая у вас все-таки БД?
И почему возникли вопросы производительности, когда у вас такие маленькие объемы данных?

[Webber]

alex99505, это совсем маленькая нагрузка. У меня бд сейчас 200гб с 300 млн записей, по сотне операций в секунду и никаких лагов. Все проблемы решались по мере роста хорошим мониторингом и логами.
Это обычно стартапы суету наводят в самом начале пытаются все оптимизировать и продукт кричит что надо делать - поток клиентов страшный будет)) в итоге сервера за 10$ хватит чтобы разрулить всю ожидаемую нагрузку

[alex99505]

Дмитрий Шицков, Сейчас MariaDB, планируем сменить на Percona.
Хотелось бы также учесть создание этой новой таблицы, возможно есть сильное преимущество у какого-то движка в этом плане

Answer 1

[Ромзес Панагиотис]

Если не нужен полнотекстовый поиск, тогда можно хранить и в MySQL.
Иначе - в полнотекстовых движках типа Sphinx Search, ElasticSearch. И стоит учесть, что для фильтрации критериев по числам они не подходят, насколько мне известно.

Вариант для MySQL 5.7+: хранить все >= 30 полей в одной колонке JSON. Добавить индексы на нужные поля. Без проблем с 2М и даже больше.

Одни будут каждый день удаляться по условию, другие добавляться в течении дня постоянно.

Использовать партицирование по критерию промежутка времени: по дням, месяцам, годам и т.д. Тогда будет проще регулярно удалять.

Comments

[alex99505]

Ну вот сейчас у меня есть таблица 7 млн записей, есть поле tinyInt(1), 0 и 1 значения. Мне нужно выбрать только значения, где 0. Индекс по полю есть.
10.4.13-MariaDB - MariaDB Server
Выборка около 3 минут происходит. Что с этим можно сделать?

[Ромзес Панагиотис]

alex99505,
покажите что выводит EXPLAIN <запрос>

Answer 2

[Vitaly Karasik]

Также нужен быстрый поиск по всем полям.

Если это не fulltext поиск, то советую MySQL, если fulltext - то Elastic.