while true; do; ps -auxh | awk '{if ($6 >= N) print $2}'| xargs kill -9; sleep 5 ; done

Где N - размер. $6 - колонка с данными. Проверять лучше аккуратно, с -9 то. Дополнительно не лишним проверять pid на размер выше 1000, чтобы не убить init например.