Это делается очень просто: берете справочник по bash и пишите скрипт, который будет периодически проверять систему и посылать сигнал 9 KILL тем процессам, которые используют памяти RSS больше чем заданное N.
Ничего сложного. Нужно просто взять и написать.
Вместо лентяя и неуча никто скрипт с его заданным N писать не будет.