У кого-нибудь есть опыт подобной архитектуры с Postgres?

Question

[romaro]

Речь идет о специфической CRM-системе, которая должна функционировать в качестве SaaS, но с возможностью "горячего" перемещения инстанса на сервер клиента.

Я предполагаю, что для каждого клиента должна создаваться отдельная база данных в кластере Постгреса.

Есть сведения, что один кластер может держать 10 тыс БД. Это число может быть увеличено за счет плоского масштабирования (увеличения числа серверов).

У меня есть опыт работы с базами данных в качестве разработчика, но тут вопрос больше из области девопса.

С точки зрения разработки все новые БД будут создаваться из шаблона (шаблон будет содержать 20-25 таблиц и больше двух сотен процедур). Понятно, что при внесении изменений в структуру данных или бизнес-логику нужно будет обновлять все базы данных, что как минимум потребует хорошего покрытия тестами (да, часть таблиц с редко изменяемыми справочниками вроде списка городов можно сделать внешними).

Это выглядит решаемым, но как будут обстоять дела с конкурентным доступом к разным БД на одном сервере? С какими еще проблемами придется столкнуться при администрировании? То есть насколько вообще жизнеспособна такая архитектура по сравнению с традиционной, когда данные разных аккаунтов хранятся в секционируемых таблицах и разделяются по ключу?

Answer 1

[Xtensive]

Есть сведения, что один кластер может держать 10 тыс БД.

На ext4 лимит 60к субдиректорий. Теоретический максимум для ПГ - 4 миллиарда баз в одном кластере
https://www.postgresql.org/docs/current/limits.html
Вопрос переносится в плоскость трудности обслуживания и развёртывания дополнительных ресурсов. Управлением опять же такой "махиной".

Это выглядит решаемым, но как будут обстоять дела с конкурентным доступом к разным БД на одном сервере?

Дела с конкурентным доступом будут посредственны. Постгрес на каждое клиентское соединение будет плодить один серверный процесс. Потребуется очень детальное конфигурирование сервера СУБД по памяти чтобы work_mem и прочие не преводили к OOM падению всего кластера.

Приблизительно: сервер 56 тредов, 512ГБ памяти может выдержать около 2-4 тысячи клиентов со смешанной OLTP нагрузкой, на одной БД. И тут на само деле не сильно принципиально одна или несколько БД, поскольку всё упирается в диски/хранилище и доступную пропускную способность.

Количество соединений можно +/- решить пулером соединений (PgBouncer, Odyssey или другие)

С какими еще проблемами придется столкнуться при администрировании?

• Бэкапы. Всегда. Особенно инкрементальные.
  
• Количество пользователей, и прав к ним.
  
• Количество сервисных процессов ПГ
  
• Настройка всего этого дела и переконфигурирование по необходимости
  
• Апгрейд и патчинг самого ПГ (пока нет и не предвидется подъёма версии СУБД на работающем кластере)
  
• Первая же ошибка записи WAL или скрытый коррапт данных убьёт весь кластер 8(
  

То есть насколько вообще жизнеспособна такая архитектура по сравнению с традиционной, когда данные разных аккаунтов хранятся в секционируемых таблицах и разделяются по ключу?

Возможно стоит комбинировать подход - несколько серверов СУБД, несколько БД для групп клиентов, группы и клиенты разбиты по схемам данных внутри одного экземпляра БД.
Как минимум обслуживание отдельных кластеров не вызовет даунтайм для всех клиентов.
А наиболее активные клиенты и с большей нагрузкой/потребностями могут быть перенесены в отдельный кластер с репликациями и горячим/тёплым резервированием.

Comments

[romaro]

Можно ли как-то с вами связаться для платных консультаций?

Answer 2

[ky0]

для каждого клиента должна создаваться отдельная база данных в кластере Постгреса

Копирование отдельных таблиц или баз данных (говоря о планируемом вами "горячем переезде") возможна только при логической репликации. Мне это видится излишним усложнением по сравнению с вариантом "каждому клиенту свою СУБД + стандартная потоковая репликация в случае необходимости", при котором нет огромных кластеров, отказ которых повлияет на существенное число клиентов.

Comments

[romaro]

То есть, условно, для каждого клиента отдельный контейнер с постгресом и общий гейтвей для маршрутизации запросов?

[ky0]

romaro, ну, например. Безотносительно того, насколько правильно засовывать СУБД в контейнеры...

[mayton2019]

Вот интересная фраза. Она требует разъяснений.

Есть сведения, что один кластер может держать 10 тыс БД.

Это что Azure предоставляет? Или AWS?

[romaro]

mayton2019, кластер — это экземпляр Постегреса на сервере. В рамках одного кластера можно создать несколько БД (create database).

[mayton2019]

romaro, 10 тысяч БД это что? Десять тысяч хостов? Или нодов кластера? Или экземпляров БД?

[ky0]

mayton2019, по-моему, автором всё написано вполне чётко. Десять тысяч баз данных в рамках одного постгресовского кластера. Про облака и ноды ничего не говорилось - просто экземпляр ПО, в рамках которого предполагается создание 10к баз.

[mayton2019]

romaro, прошу прощения. Я старый Ораклоид и у нас понятие кластера немного другое. Короче терминологическая нестыковка.

[romaro]

mayton2019, если говорить в терминах Оракла, то там подключаемые БД (pluggable database) наиболее близки к этому. Кажется, с версии 12 он их поддерживает.