Как исправить предупреждение «ceph MDS cache is too large (2GB/1GB)» и нужно ли?

Question

unwrecker @unwrecker

Proxmox
Ceph

Как исправить предупреждение «ceph MDS cache is too large (2GB/1GB)» и нужно ли?

Имеется Proxmox на 3 ноды. Из его интерфейса штатным образом поднят ceph. Периодически по одной (произвольной) из MDS в интерфейсе проксмокса выдаётся предупреждение из заголовка. В консоли это выглядит так:

root@px0:~# ceph -s
  cluster:
    id:     36229d63-223e-4511-94f4-2069eeb50b6f
    health: HEALTH_WARN
            1 MDSs report oversized cache
 
  services:
    mon: 3 daemons, quorum px0,px1,px2
    mgr: px1(active), standbys: px0, px2
    mds: cephfs-1/1/1 up  {0=px1=up:active}, 2 up:standby
    osd: 6 osds: 6 up, 6 in
 
  data:
    pools:   3 pools, 288 pgs
    objects: 1.59M objects, 1.12TiB
    usage:   3.37TiB used, 1.87TiB / 5.24TiB avail
    pgs:     288 active+clean
 
  io:
    client:   821KiB/s wr, 0op/s rd, 67op/s wr

Через какое-то время предупреждение само пропадает:

root@px0:~# ceph -s
  cluster:
    id:     36229d63-223e-4511-94f4-2069eeb50b6f
    health: HEALTH_OK
 
  services:
    mon: 3 daemons, quorum px0,px1,px2
    mgr: px1(active), standbys: px0, px2
    mds: cephfs-1/1/1 up  {0=px1=up:active}, 2 up:standby
    osd: 6 osds: 6 up, 6 in
 
  data:
    pools:   3 pools, 288 pgs
    objects: 1.59M objects, 1.12TiB
    usage:   3.37TiB used, 1.87TiB / 5.24TiB avail
    pgs:     288 active+clean
 
  io:
    client:   1.98KiB/s rd, 1.37MiB/s wr, 0op/s rd, 130op/s wr

В конфиге ceph размер кеша указан в 6Gb - это уже писал я, пытаясь справиться с ошибкой, но никакого эффекта (конечно перезапускал все ноды).

[global]
         auth client required = cephx
         auth cluster required = cephx
         auth service required = cephx
         cluster network = 10.0.0.0/24
         fsid = 36229d63-223e-4511-94f4-2069eeb50b6f
         keyring = /etc/pve/priv/$cluster.$name.keyring
         mon allow pool delete = false
         osd journal size = 5120
         osd pool default min size = 2
         osd pool default size = 3
         mds cache size = 6442450944
         mds cache memory limit = 12884901888
         public network = 10.0.0.0/24

[mds]
         keyring = /var/lib/ceph/mds/ceph-$id/keyring

[osd]
         keyring = /var/lib/ceph/osd/ceph-$id/keyring

[mds.px2]
         host = px2
         mds standby for name = pve

[mds.px1]
         host = px1
         mds standby for name = pve

[mds.px0]
         host = px0
         mds standby for name = pve

[mon.px0]
         host = px0
         mon addr = 10.0.0.50:6789

[mon.px1]
         host = px1
         mon addr = 10.0.0.51:6789

[mon.px2]
         host = px2
         mon addr = 10.0.0.52:6789