Нужно ли иметь свободное дисковое пространство в пуле ceph на случай отказа osd или сервера?

Question

[emptness]

Здравствуйте!
Только начинаю изучать ceph и столкнулся с проблемой.
Нигде не могу найти точную информацию.
Должен ли я при планировании дискового пространства рассчитывать на то, чтобы в пуле всегда было свободное место в случае отказа одного сервера для репликации pg на оставшиеся сервера или ceph сам выделяет место на весь пул исходя из фактора репликации.
Например, у меня 4 сервера по 4 osd 10 TB, фактор репликации 3 (пул получится 40 TB).
Если я использую все дисковое пространство (все 40 TB), то в случае выхода одного сервера из строя или даже двух пул полностью деградирует из-за того что ему некуда будет перераспределить pg?
Или в системе уже зарезервировано пространство на этот случай и я могу занять все 40 TB?

Answer 1

[Drno]

у тебя всегда должен быть резерв

Comments

[emptness]

То есть я должен оставить 10 ТБ из 40 свободными?

И отказ скольки серверов при таком конфиге система сможет пережить?

А как вообще посчитать объем пула исходя из фактора репликации, сколько будет в принципе доступно в системе?

[Zerg89]

emptness, не 10 а 13,5 так как 40/3=13,(3) столько же будет доступно системе, переживёт отказ 2х серверов

Если я использую все дисковое пространство (все 40 TB), то в случае выхода одного сервера из строя или даже двух пул полностью деградирует из-за того что ему некуда будет перераспределить pg?

можно отключить backfill чтобы он не пытался перераспределить данные и не забил остаток места в пуле, чтобы данные продолжали писаться даже при выключении одного из серверов, но после исправления сбоя включать для проверки необходимости перераспределения данных по osd

[emptness]

Zerg89, начинаю понимать.
При моей конфигурации будет доступно в пуле 53,3 ТБ. Но для безопасного использования (надо заложить 25% для репликации при отказе 1й ноды) из них следует использовать до 40 ТБ?

[Zerg89]

emptness, на самом деле нет смысла закладывать ещё и место под backfill его просто лучше отключить у тебя и так 3я репликация данных так что одновременное падение 2х серверов переживаете спокойно без перераспределения, который ещё и нагрузку даст на диски что может как и в RAID стать точкой каскадного отказа

backfill не отключается репликацию пула а только отключает механизм перераспределения данных по оставшимся osd для достижения фактора репликации (3 копии)

[emptness]

Zerg89, у меня есть сомнения в терминах)
Фактор репликации - это osd_pool_default_size = 3 по умолчанию во всех конфигурациях?
А на что влияет osd_pool_default_min_size = 2, тоже используется по умолчанию?

[Drno]

emptness, min - подозреваю что минимальное рабочее количество, если останется 1 - сервис отключится