Какую базу данных использовать?

Question

[SET1]

Связь с БД будет осуществлять через API сайта. База должна выдерживать огромные нагрузки, ориентировочное количество строк в базе: 5-10 млрд, число обращений в сек.: около 150к.

Предлагали использовать BigTable от Гугл, но информация о нем есть только на сайте, поэтому хотелось бы услышать мнение людей кто использовал ее на практике. Есть еще вариант использовать Firebase Firestore, но там ограничение на размер документов, что мне не подходит.

P.S: Данные будут обычные строки и целые числа.

Comments

[sim3x]

Для чего СУБД?

SaaS only?

[SET1]

sim3x, СУБД будет использоваться для хранение прямых ссылок на фотографии, а так же некоторая дополнительная информация (строки и целые числа). 2018 год, поэтому SaaS желателен.

[RidgeA]

число обращений в сек.: около 150к.

150 000 RPS ?

[sim3x]

SET1, В 2018 уже все поняли, что SaaS === vendor-lock

Вам подойдет любая СУБД, если требуется только одна таблица с двумя полями

[SET1]

RidgeA, Да.

[SET1]

sim3x, Вы правы. Какой тогда вариант использовать, если не SaaS? В идеале иметь свои сервера в дата центрах.

[sim3x]

SET1,

Postgresql, redis, etc
СУБД вам по сути не важна - вам нужен девопс с прямыми руками

[SET1]

sim3x, А какой сервер или хостинг провайдер можете посоветовать использовать хотя бы на первое время, чтобы была возможность переехать потом?

[sim3x]

SET1,
На первое время хватит digitalocean, vultr, amazon
В любом случае такое лучше спрашивать у своего админа

Answer 1

[xmoonlight]

Какую БД использовать зависит от того, как Вы собираетесь использовать эту БД.

Преимущественно выборка/чтение или обновление/добавление записей?
Выборка/Чтение: по одному или нескольким полям?
Есть ли общие свойства записей из которых можно делать группы/деревья (домен, линк, размер изображения и т.д.)?

Откуда (как) насчитали 150 000 RPS?!
Может проще всё в оперативку закинуть и/или haproxy подключить для горизонтального шардинга?

Пока - задача полностью абстрактна...

По текущей информации:
Использование базы mysql на быстром SSD будет вполне достаточно. (лимиты на таблицу)

Answer 2

[abbaboka]

Связь с БД будет осуществлять через API сайта. База должна выдерживать огромные нагрузки, ориентировочное количество строк в базе: 5-10 млрд, число обращений в сек.: около 150к.

Предлагали использовать BigTable от Гугл, но информация о нем есть только на сайте, поэтому хотелось бы услышать мнение людей кто использовал ее на практике. Есть еще вариант использовать Firebase Firestore, но там ограничение на размер документов, что мне не подходит.

Все ж зависит от того, нужно вам искать или нет.
Так то - достаточно просто в текстовые файлы писать.

СУБД - это про поиск.

Вполне себе рядовая нагрузка для какого нибудь банального PostgreSQL.
Если же простой поиск по строкам - лучше Elastic.
Если же большая нагрузка на запись и хочется меньше железа - InfluxDB, Aerospike, Tarantool (с vinyl, не memtx)