Одно из двух.
1. Либо конфигурация параметров памяти слишком велика, как и велика нагрузка, чтобы все это влезло в оперативу. Чес говоря, я смотрю и думаю что маловероятно.
2. Либо конфигурация параметров памяти слишком велика, а нагрузка для такой конфигурации слишком мала. По этому память не используется и ядро скидывает ее в своп для оптимизации.
Ситуация 2 может возникнуть например, при вашей настройке innodb_buffer_pool_size (2Г) и общим объемом таблиц INNODB в 100М.
innodb_buffer_pool_size должен быть на уровне 130-200% от планируемого объема таблиц. Остальная память попросту может не использоваться.