Proxmox не использует всю ОЗУ?

Question

[Александр]

Привет, у меня есть нода Proxmox 8.3.2 в которой 2 CPU (72 ядра) и 128 GB ОЗУ.

диски не в ZFS, LVM.

Как я заметил Proxmox не использует всю ОЗУ. Больше 99+-гб из 128 ни когда не забирает, а начинает все скидывает в SWAP. Даже если его выключить и потом включить, начинает скидывать в своп. Понимаю что своп это номрально, вопрос в пустой ОЗУ.

Игрался с swappiness, стоит 10. Ставил и 1 и 50...

Что может быть или это нормально? 25 GB ОЗУ мне бы пригодилось.



сейчас расклад такой (87064 мб) занято VM. Где-то включен baloon, но суммарно предел не выходит за доступную ОЗУ.





То есть мне пришлось урезать ОЗУ ВМ для того что бы swap не был загружен на 100%.

И так, что не так?)

Comments

[rPman]

я правильно понимаю, что хотя free показывает avialable 36gb, если виртуальные машины задействуют суммарно памяти выше 99gb начинается использование файла подкачки?

p.s. на сколько я знаю, есть способ с помощью cgroup определить группы процессов и на выбранные запретить использование swap как минимум может поместить туда процессы proxmox?

[Александр]

rPman, да, доступная память есть, но своп уже кончился.

[rPman]

я имею в виду, вы не можете запустить очередную виртуальную машину даже при наличии свободной памяти или они начинают в своп залезать?

p.s. зачем вам swap вообще?

[Александр]

rPman, это вопрос конечно, до такого не доводил. Как то дошло до того что VM у меня упала, виидмо OOM Killer сработал, но это было давно. Сейчас я запустил ВМ ки на 115 гб ОЗУ, завтра расскажу что вышло.

[Александр]

Хотелось бы что бы это было так, топчик это VM

Вот сейчас пока уперлось в 99GB, включился KSM sharing, ждем дня.

[Дмитрий]

Это конечно больше борьба со следствием, а не причиной, но я на своих серверах proxmox установил zram-tools и настроил его, и теперь подкачка происходит в ОЗУ со сжатием. Т.к. на серверах под загрузку до сих пор HDD, то отзывчивость тяжелых виртуалок, а также процессы миграции сильно проседали, если нужно было обращаться к отсвапленной памяти, а такая настройка позволила эту проблему полностью нивелировать.
Скриншоты с похожего по загрузке RAM хоста. vm.swappiness = 15

[Александр]

На данный момент потребление УЗО 99гб, все останое ушло в KSM sharing - 20 ГБ.

Answer 1

[Павел]

гуглить надо "vm.swappiness proxmox"
свап не всегда значит что у сервера не хватает ОЗУ
скорее всего память просто занята под кеш , но htop и т.п отображают ее как свободная

Comments

[Александр]

Он так же равен 10.

Я прекрасно понмиаю что это не означает, меня больше волнует 99% загрузка свопа в 8 GB при наличии свободной ОЗУ в 25GB по мнению 'free'

Другими словами free показывает мне availabe в 25 гб, небольшой кеш, но swap загружен на 8гб.

Цифры примерные. Если есть желание я могу симулировать проблему.

Answer 2

[Пума Тайланд]

Не очень понятна проблема, виртуалки используют нужную память, сам проксмокс обычно ничего не делает и памяти потребляет три копейки, наверно какой то процесс просто зажрал свап посмотрите на хостовой системе
Думаю надо посмотреть топ хтоп кто потребляет память на хосте

Comments

[Александр]

Это не решает проблему, в топах процессы ВМ'ок.

Действует явно какой то механизм или еще что, природу которого не могу выяснить.

Если прокс не выделяет всю ОЗУ для ВМ - ВМке выделено 32гб, по факту использует 20 и прокс столько же выделяет из свой ОЗУ то это еще как то можно было бы обянить. Но почему тогда загружается весь своп, мне вообщне не понять. Это резерв для ВМ, которую еще сама ВМ не заняла?!...

[Пума Тайланд]

у вас просто в какой то момент выдавливает вмки в свап процесс который потребляет много памяти
думаю надо просто посмотреть по графикам когда это происходит , возможно это бекап так делает или еще какой то процесс
ну и в целом посмотрите какие процессы выдавило в свап через утилиту smem -rs swap

Answer 3

[Александр]

Cитуация повторилась:


htop

free