Какую базу данных выбрать для большого количества товаров?

Question

[olamedia .]

Требования/особенности:
* скорость пакетной вставки: 10-30 тысяч рядов за секунды, желательно < 5-10сек.
* количество записей может быть ориентировочно несколько десятков миллионов. (хотя теоретически можно порезать до десятков тысяч позиций либо до сотен тысяч позиций. но в этом случае количество таблиц будет зашкаливать и возникают сложности с выборками)
* база используется исключительно для хранения полей ключ, значение, время изменения, время индексирования.
* выборка по базе выполняется по ключу (для чтения полной информации либо внесения изменений) и по времени (для индексирования в поисковой базе)

Помимо этого, какие особенности следует учитывать при использовании выбранной базы в плане пакетной вставки.

Comments

[olamedia .]

По сути - это обновление прайсов по скорости обработки приближенном к реальному времени.

Answer 1

[raiboon]

Любая бд из перечисленных справится с этим без особых проблем. Поестите касандру, и дополню еще Tokyo Tykoon - тоже подходит под ваши нужды.
Но вы абсолютно уверены, что у вас останутся первоначальные ограничения на типы выборок? Если не особо, то берите постргрес - не ошибетесь, он тоже переварит всё это, пусть и медленнее, но зато будет значительное поле для маневра в расширении функционала.

Comments

[olamedia .]

более сложными выборками заниматься будет исключительно solr, так что да, уверен.
насколько медленнее получится? (это вторая часть вопроса) в постгресе, если взять для примера базу OSM, импорт больших данных делается без ключей, но я же не смогу удалять ключи при каждом импорте.

[olamedia .]

хотя, если разбивать по пользователям - я смогу удалять ключи без проблем, и при этом даже полностью чистить таблицу перед записью. но в этом случае возникает вопрос - насколько большим может быть количество таблиц в постгресе, чтобы не возникало проблем.

[raiboon]

Абсолютных метрик не могу подсказать, это плата за то, что любое изменение в базе - есть транзакация и мы за это платим.
У нас на каждой ноде уже по 10-20гб данных, причем все в одной таблице. Выборка значений по индексному ключу "мгновенная".
Ничего не понял про OSM.
Но удаление индексов не принципиально, если делать все вставки в одной транзкации и индексы перестраивать конкурентно.

[olamedia .]

raiboon: дело в том, что с постгрес я познакомился, начав работать с OpenStreetMap базой. это >8млн полигонов по России. так как выборки по ключу действительно "мгновенные", я всерьез рассматриваю postgresql в качестве кандидата. но к osm у меня никогда не было требований к пакетной вставке тысяч строк за раз - она используется по большей части на чтение.
так вот про индексы - изначальное заполнение базы osm происходило довольно недолго, а вот последующее перестроение индексов заняло несколько часов.
в связи с чем меня беспокоит вопрос - не будет ли с индексами проблем при частых (несколько пакетов по 10к в секунду) обновлениях.

[olamedia .]

поправлюсь, выборки не только по ключу, но и более сложные, с геозапросами - мгновенные на этих 8млн.

[olamedia .]

В данной мной изначально формулировке вопроса, признаю ответ достаточно верным.
В реальности же я отказался от хранения данных прайсов в базе совсем. Будут только таблицы под метаданные, и для них я, пожалуй, заюзаю postgresql - он отлично справится. Промежуточное хранение организовал в файлах json, затем сразу индексация в solr.

Answer 2

[olamedia .]

В общем-то подумал, а почему бы не хранить все строки одного прайса в одном ряду таблицы или даже в json-файле типа такого:

[{},{},{},{ '№ п/п': '2301',
    'Наименование товара': 'Шоколад НЕСТЛЕ батончик  Натс 50 гр',
    'Ед Изм': 'шт',
    'Цена': '21' },{},{},{}]

Ведь для индексации забирать их той же самой пачкой придется, да и название с ценой все равно будут в индексе. Причем можно хранить рядом предыдущий прайс и при загрузке составлять/обновлять diff-файл для облегчения работы индексатора.
Минус лишь в том, что метаданные так не сохранишь, для них все равно придется завести таблицу. Но таблица с метаданными скорее всего не будет изменяться так часто.

Comments

[alskorpius]

а как потом делать выгрузку с 50-100гб данных в JSON? )))))