Использовать менее ресурсоёмкий веб-сервер нежели unicorn, c меньшим кол-вом воркеров, как упомянул
Александр Вульф.
Оптимизировать приложения по потреблению памяти при помощи профилировщика. swap-память не считается, т.к. она используется не процессами воркеров, а ОС.
