Короче, есть vps с 60гб оперативы и столько же swap, а также 260гб SSD.
Суть такова: при превышении порога в 512мб ОПЕРАТИВЫ(НЕ свопа) система вырубает процесс(думаю догодались, что это за провайдер, если нет скажу - он PaaS).
Вопрос в другом: как принудительно заставить использовать огромный своп, не трогая оперативу(максимум из оперативы можно взять те же 512мб)?
Начать с понимания, что же такое своп. Придти к мысли, что нужно писать свой менеджер памяти внутри сервиса, понять, что этот путь - критично замедлит сервис/невозможен в реализации текущими силами. Сменить хостера.
PaaS предназначен именно для такого поведения. У вас есть не VPS, а PaaS, поэтому он и стоит другие деньги.
Хотите юзать все 60 гб оперативы, да еще и плюс Swap - оплачивайте целый VPS.