Нарыл следующее: в какой-то момент kwin_x11 начинает жрать не в себя, выжирает все, что есть, скидывая всех остальных в своп, потом понимает, что что-то тут не так и отдает все и сразу. Соответственно, все остальные начинают подниматься из свопа и все тупит. ХЗ, что это такое, вылечил путем установки лимита на память (ulimit -d) для kwin_x11.