Подскажите, что ещё может являться причиной столь долгого ответа сервера?
Что угодно, по этому надо нормально тестить:
1) Проверить насколько быстро отдается статика, любой жпег например.
2) Проверить, нет ли глюков в связке сервер-пых, например в индексе тупо поставить ечо 1; ексит();, посмотреть время.
3) п.2, но уже глубже по коду, где-то в районе запросов в бд
4) Повторять до выяснения проблемы.
5) Профит!
