Как победить ошибку Ceph «OSD count 2 < osd_pool_default_size 3»?

Question

[Сергей]

Всем привет!
Подскажите, плиз, по применению параметров конфига к кластеру Ceph.
Достался мне "в наследство" кластер, в котором то ли когда то было 3 ноды osd, потом одна исчезла, то ли изначально было их две.
Параметр osd_pool_default_size в конфиге отсутствовал, использовалось значение по умолчанию.
На мониторах, ЕСТЕСТВЕННО, состояние варнинга:
OSD count 2 < osd_pool_default_size 3

На некоторых пулах стояли аналогичные параметры. Изменил на пулах. Добавил в конфиги чтобы на время убрать ошибку (сейчас нет третьей тачки под рукой, буду заказывать, настраивать).

osd_pool_default_size = 2
osd_pool_default_min_size = 1

Рестартанул службу на всех мониторах, команда "ceph config show xxx.xxx" показывает то ,что нужно, а команда "ceph -s" говорит, что проблема осталась

OSD count 2 < osd_pool_default_size 3

Что за фигня и как ее побороть?

Answer 1

[Алексей Черемисин]

Добавить OSD на ноды, и добавить ноды, если не хватсет.

Comments

[Сергей]

Сейчас нет возможности развернуть плюс одну OSD. Вопрос в том, как применить изменения в файле, чтобы кластер "прожевал" это значение. У Ceph-а есть конфиг, есть команда для изменения size и max_size, это стандартный конфиг. Это неправильно для HA, но я на тестовых стендах имею полное право держать и не полную конфигурацию. Вопрос не как все сделать феншуйно, а донести изменения до кластера

[Алексей Черемисин]

Сергей, у вас кластер отвечает на cli? ceph status? ceph osd tree?

[Сергей]

Алексей Черемисин, Да, конечно отвечает. Как бы я узнал о проблеме, если бы не отвечал?

[Алексей Черемисин]

Сергей, это хорошо, а не покажете?

[Сергей]

Да, не проблема

# ceph status
  cluster:
    id:     (удалил)
    health: HEALTH_WARN
            mons are allowing insecure global_id reclaim
            OSD count 2 < osd_pool_default_size 3
            too many PGs per OSD (281 > max 250)

  services:
    mon: 3 daemons, quorum ceph-mon-01,ceph-mon-02,ceph-mon-03 (age 16h)
    mgr: ceph-mon-03(active, since 7w)
    mds: cephfs:1 {0=ceph-mon-02=up:active}
    osd: 2 osds: 2 up (since 70m), 2 in (since 9d)
    rgw: 1 daemon active (ceph-mon-01.rgw0)

  task status:

  data:
    pools:   9 pools, 281 pgs
    objects: 155.09k objects, 489 GiB
    usage:   982 GiB used, 818 GiB / 1.8 TiB avail
    pgs:     281 active+clean

  io:
    client:   22 KiB/s rd, 12 KiB/s wr, 21 op/s rd, 16 op/s wr

и

]# ceph osd tree
ID  CLASS  WEIGHT   TYPE NAME             STATUS  REWEIGHT  PRI-AFF
-1         1.75777  root default
-3         0.87888      host ceph-osd-01
 0    hdd  0.87888          osd.0             up   1.00000  1.00000
-5         0.87889      host ceph-osd-02
 1    hdd  0.87889          osd.1             up   1.00000  1.00000

[Алексей Черемисин]

Сергей, Если в конфиге не подхватывает, а такое может быть, то изменяйте на каждый пул отдельно.

ceph osd pool set my_pool size 2
ceph osd pool set my_pool min_size 1

Ну и да, что-то у меня в свое время с cephfs не срослось нормально, увы... Просто раздавал rbd по всякому.

А сейчас пробую seaweedfs :)

Но ceph - очень хорош и живуч, люблю!

С другой стороны - на этот варнинг OSD count 2 < osd_pool_default_size 3 можно и подзабить, если пулы в норме.

С третьей - меньше трех osd лучше вообще не пользовать.

[Сергей]

>Если в конфиге не подхватывает, а такое может быть, то изменяйте на каждый пул отдельно.
1. Я прошел по всем пулам и проставил вручную.
2. Я вручную проставил параметры: ceph tell mon.* config set ....
3. Я проверил, что сервис их ощутил:

#ceph config show mon.ceph-mon-01
поскипано
osd_pool_default_min_size           1         file
osd_pool_default_size                   2         file

>на этот варнинг OSD count 2 < osd_pool_default_size 3 можно и подзабить
Если бы можно было забить, я бы не задавал вопрос.

> С третьей - меньше трех osd лучше вообще не пользовать.
Это - рекомендация, бест практицес, но технически кластер предполагает возможность работы с любым количеством OSD. В мануале сказано, что если у тебя не винты, а уже гоовые RAID-ы, то size=2 обеспечивает достаточную надежность и вполне нормальный вариант. У меня как раз 6-й рейд. Так что вопрос не в фен-шуе, а в том, как заставить его понять, что параметр все таки 2, а не 3.