nochkin

Было бы полезно указать как в конфигах они прописаны, что бы можно было посмотреть что не так.

Если загружен swap, то это серъезная проблема. Надо либо оптимизировать на загрузку памяти (возможно, начать с mysql), либо добавить память на сервер.
Например, можно начать с удалением ненужных модулей и уменьшением количества процессов у apache.