Как настроить базу?

Question

[Tsentr]

Пытаюсь настроить PostgreSQL
Нужно чтобы последняя неделя хранилась на SSD в облаке и зеркалилась на локальный SSD
Нужно чтобы через неделю все партиционировалось на массив HDD

Вообще не понимаю как это сделать.
пытаюсь найти кого-то на аустсорс - тоже ничего пока не получается.

Answer 1

[ky0]

То, что вы хотите, реализуется tablespace`ами. "Зеркалирование" куда-то ещё - логической репликацией (обычная копирует все данные кластера).

Answer 2

[Армянское Радио]

Какбы лучше это делать в самом приложении, чем пытаться наколхозить что-то в СУБД. Вот если логику приложения менять нельзя, тогда надо что-то начинать изобретать снаружи.

Также несовсем понятно, что значит "партиционировалось на массив HDD". Вы хотите. чтобы постгрес побыл на минуточку RAID - контроллером?

Пока что данная задача выглядит как проблема X-Y - некто, может быть даже, вы, придумал самое гениальное в мире решение Y задачи X, но все другие люди решают X совершенно иначе, применяя решение Z.

Так что пока вы не объясните постановку задачи X, с вами просто опасно иметь дело - вы со стороны выглядите как человек, который всерьез уверен, что забивать гвозди микроскопом - это хорошо, оптимально, правильно и надежно.

Comments

[Tsentr]

в рэйд массиве нет необходимости. в данном случае это стандартная функция множества баз данных.

[Армянское Радио]

Tsentr, уточните пожалуйста, правильно ли я понимаю, что вы хотите, чтобы таблицу порезало на несколько дисков?

[Tsentr]

Армянское Радио, да href="https://www.postgresql.org/docs/10/ddl-partitionin...">

[Армянское Радио]

Tsentr, а вы уже знаете, что вы будете делать, когда один из дисков хлопнется?

[Tsentr]

Армянское Радио, восстанавливать из бэкапа. но нужно комплексное решение, поэтому и ищу эксперта или подсказок по направлению куда копать чтобы сделать самому.

[Армянское Радио]

Судя по всему, объем данных немаленький, не боитесь остановки сервиса на полдня на время восстановления из бекапа?

[Tsentr]

Армянское Радио, не боюсь

[Vamp]

Так что пока вы не объясните постановку задачи X, с вами просто опасно иметь дело

Армянское Радио, как по мне задача предельно ясна. Есть дорогой ssd диск маленького объема. На нем хочется размещать только актуальные горячие данные. Далее, по мере их устаревания, перемещать эти данные на дешёвые и ёмкие hdd.

[Армянское Радио]

Vamp, Из описания не следует, почему это нужно делать путем усложнения конфигурации базы, а не организацией кэширования в приложении, или задействования SSD-кэша (bcache) перед дисковым массивом.

Впихать ssd-кэш перед диском - это один день чтения мануалов и настройки.

Настроить же все эти переносы данных - это работа для целого DBA + куча отладки + риск поставить прод в неудобную позу в случае фейла.

[Армянское Радио]

Vamp, например, Tsentr может держать в голове интересную, но очень опасную идею примаунтить к системе облачный диск и натравить на него постгрес. Что будет с постгресом, когда облачный диск отвалится? Правильно, он встанет наглухо, а потом непонятно, оживет ли, особенно при конфликте синхронизации.

Поэтому такую задачу надо основательно обсуждать и выбирать надежное решение.

[Vamp]

Армянское Радио, и не должно следовать. Вы не знаете, является ли ТС разработчиком или имеет влияние на разработчиков чтобы протолкнуть решение по доработке ПО. Вы не знаете какие ещё варианты были рассмотрены. Вы не знаете в каком окружении работает ПО. Не нужно проявлять чудеса ясновидения и экстрасенсорики.

Есть конкретный вопрос по конкретной ситуации. Не нужно пытаться отвечать на вопрос, который ТС не задавал.

Что будет с постгресом, когда облачный диск отвалится?

ТС получит бесценный опыт.

[Армянское Радио]

Vamp, так именно в этом и есть философия проблемы X-Y. Чтобы получить нормальное решение, нужно изложить изначальную задачу со всеми ограничениями, а не "я хочу партиционировать таблицу на HDD-диски"

(я себе представляю высоту прыжков с бубеном, когда диск вылетит, запасного нету, но бекап будет уверен, что дисков обязательно должно быть N штук, а не N-1)

[Армянское Радио]

Vamp, ну то есть, давая решение я грубо говоря, я бы хотел дать действительно рабочее решение, а не ответить "на отвали" или "какой вопрос, такой и ответ".

Отсюда и экстрасенсорные наклонности.

[Tsentr]

Товарищи инженеры. Вы все правильно напредполагали )

Не понятно только как получить надежное решение

[Tsentr]

Армянское Радио, как это сделать чтобы избежать конфликта синхронизации?

[Армянское Радио]

Tsentr, для начала непонятно, какую роль в этом должно играть SSD на Хецнере и можно ли его убрать.

Нулевым пунктом будет снятие всяческих метрик с имеющейся конфигурации, чтобы как минимум двумя способами подтвердить наличие проблемы и правильность предложенного решения. Потому что реальная проблема может быть в криво настроенном постгресе или вообще не в постгресе. Неужели я угадал, и приложение поверх всего этого - 1C?

Далее, лично я бы начал с объединения дисков в ZFS и подключения локального SSD как L2ARC. Тогда совсем горячие данные будут кэшированы в оперативку, менее горячие на SSD, а совсем холодные попадут на диски. Только при этом не придется базу корячить никак.

[Tsentr]

Армянское Радио, нет, мне повезло и это не 1С. это самописное чудо юдо.
без SSD в облаке никак. возможно еще один на амазоне придется добавить позже.
совсем горячих данных не предполагается. возможно хранение копии индекса в оперативке хорошая идея, но тоже не понятно как ее оптимально реализовать.
партиционированный массив и так должен 2 Гигабайта в секунду выдавать в теории.

[Армянское Радио]

Tsentr, нифига себе, что повылазило. Следующий вопрос будет, а точно ли там нужен постгрес.
Ну и 2 Гигабайта в секунду - это не мера производительности. Вот "2 Гигабайта пакетами по 4kb в секунду " - вот это уже величина, о которой можно разговаривать.

[Tsentr]

Армянское Радио, выбирали между Clickhouse и timescaleDB на постгрес. пока лидирует постгрес потому что проще найти того кто это администрирует

[Tsentr]

Армянское Радио, подскажите пожалуйста Ваше мнение, как zfs может на партиционировании встроенном Постгреса отразиться? или это несовместимо и нужно выбирать одно или другое?

[Армянское Радио]

Tsentr, Все зависит от нагрузки, о которой вы все еще ничего не сказали. Что за данные вы льете?

Если стесняетесь говорить на всеобщее обозрение, у меня в профиле есть контакты.

[Tsentr]

Армянское Радио, time-series данные в надстройку постгресса TimescaleDB

[Tsentr]

Армянское Радио, у timescale есть встроенная компрессия с распределением по дискам

[Армянское Радио]

Tsentr, на такие объемы и род данных я бы взял три-пять нод CEPH в режиме RADOS и не задавал бы лишних вопросов.

(Собственно, его для этого и придумали - чтобы лить данные с БАК в CERN).