Проблема в используемой CMS Joomla 1.0.
И вы сами ответили на свой вопрос.
Один из виртуальных хостов работает медленно — с откликом ~7секунд. На нем как раз и самая высокая посещаемость.
Сразу после перезагрузки у вас число одновременных запросов на этот ваш вритуал хост небольшое, поэтому и сайт оживает, когда приходит больше посетителей, всё возвращается.
Ставьте nginx и гуглите на тему того, как можно тюнить Joomla, наверняка можно какое-нибудь кэширование включить. Ну и посмотрите хотя бы какие запросы выполняются, есть ли все индексы нужные, скорее всего проблема в запросах MySQL.