Что будет если SWAP файл переполнится?

Question

[Антон]

На сервере есть SWAP файл.
Сейчас он используется для поддержания жизни сервера при работающих жестких задачах Rails проекта.

Квота файла подкачки - 4 Gb. Сейчас она заполнена почти на 1 Gb (мечется от 800 Mb до 1 Gb).
Да и в самом ОЗУ висит столько же.

В прнципе, такой объем явно не используется сервером. Сейчас запущена только одна задача, которая не может столько жрать.
Отсюда и возник вопрос - как очищать файл подкачки? Что будет, если он переполнится (чисто теоретически, хотя заполнить 4 Gb...)?

Comments

[d'Ivan]

Полагаю, стоит задать новый вопрос о том как оптимизировать потребление памяти в приложении на Ruby on Rails.

[landergate]

Антон
Не забудьте отметить решением ответы, которые помогли. =)

Answer 1

[landergate]

При высоком потреблении памяти, нужно увеличивать доступную память, или оптимизировать её потребление в самом приложении.

Что будет, если он переполнится?

Тоже самое, что и при отсутствии файла подкачки: приложение, запросившее больше памяти, чем доступно, будет завершено OOM killer'ом для того, чтобы система могла продолжать функционирование. Причём может быть принудительно завершено как оно само, так и любое другое, активно потребляющее RAM.

Файл подкачки нужен исключительно для избежания OOM при превышении потребления физической RAM.

как очищать файл подкачки?

Никак. Это невозможно делать вручную, как и очищать RAM.
Только завершая приложения, потребляющие память.

Comments

[Владимир]

Ну можно поставить ОС в положение что ей придется выгружать данные из свопа в озу, главное чтобы в озу было место, самый простой способ swapoff /dev/sdX
Но практическая ценность такого хода очень сомнительна =)

[landergate]

Владимир: Конечно, как и регулировать swappiness, но освободить ему память для приложения это, конечно же, не поможет. =)

[Антон]

нужно увеличивать доступную память

На DigitalOcean ОЗУ очень дорого стоит, поэтому и решил проблему таким "костылем" :(

В качестве второго костыля может служить перезапуск ОС?

И последний вопрос. Если Rails task's завершают свою работу, то почему они не уходят из SWAP файла?

Answer 2

[Владимир]

Как очищать - ненадо его очищать, ОС сама его менеджит - когда в ОЗУ достаточно долго лежат данные которые не используются ОС их выгружает в свап за давностью времени или чтобы отдать память текущим активным процессам. Вы можете влиять на поведение ОС используя параметры swappiness и другие
Если файл подкачки закончится то ОС туда не будет ничего писать
а если все ОЗУ + файл подкачки заняты то тут два варианта:
1 система зависнет пытась активно читать писать данные в своп
2 включится OOM killer и начнет убивать процессы активно использующие ОЗУ и появится свободная память

Comments

[Антон]

Вы извините, но я немного не понял эти два момента:

Как очищать - ненадо его очищать, ОС сама его менеджит

а если все ОЗУ + файл подкачки заняты

Так если ОС сама его контролит, то почему он не очищается? Повторюсь, задачи заканчивают свою работу, но из памяти не уходят их проделанная работа.

[Владимир]

Антон: у linux с памятью обычно все хорошо - когда процесс завершает работу то вся вся его память освобождается, поэтому обычно память занята процессами который сейчас запущенны (может работают может спят) изучите что за процессы занимают память - запустите top и нажмите Shift+m для сортировки по памяти.

[Антон]

Владимир: не спорю, но вы сейчас про RAM написали? А что делать со SWAP? Вот я конкретно про него. Он судя по всему не очищается после завершения Rails task. Или я ошибаюсь?

[Владимир]

Антон: я более чем уверенн что своп используют запущенные процессы,
вот вам комманда чтобы посмотреть использование свопа каждым процессом в системе, дальше выводы делать вам

for file in /proc/*/status ; do awk '/VmSwap|Name/{printf $2 " " $3}END{ print ""}' $file; done | sort -k2 -n

[Антон]

Владимир: дааа, там и PgSQL, и сам Ruby... А что тогда в RAM почти ни 1 Gb висит?

[Владимир]

если у вас в /proc/sys/vm/swappiness стоит 60 то система при 40% занятой памяти уже будет старатся выгружать лишнее в своп почитайте например вот это по поводу настройки кеширования и свопа fx-files.ru/archives/704

Answer 3

[sim3x]

Для начала стоит понять чем занята память
Чаще всего ето дисковый кеш

man free
man top
man atop

Допустим, что никаких кастомных настроек потребления памяти (lxc) нет

Допустим одно или несколько приложений начинают увеличивать потребления памяти
Постепенно из памяти вытеснится весь кеш
В процессе часть аллоцированной памяти из RAM переметится в swap
В етот момент сервер начнет вести себя странно, тк он не знает на самом деле какие приложения действительно необходимы, а у каких просто протекла память

и тут в дело вступает ООМ
unix.stackexchange.com/questions/153585/how-oom-ki...
https://linux-mm.org/OOM_Killer