Я щас скажу жуткую банальщину, но что бы "летало" надо отказаться от apache2(в большинстве случаев). В небольших нормальных проектах обычно можно спокойно перейти на php-fpm.
Опять же надо смотреть конфиги nginx/apache2, нагрузку в момент тормозов (LA, mem, cpu, cache, etc), состояние баз
Просто так не подсказать.
P.S. У вас чуть больше чем 1 пользователь в секунду, это очень маленькая нагрузка.