На что уходит время? На коннект с сервером, обработку запроса или генерацию страницы для отдачи? 3-4 секунды довольно много, подозреваю причина в долгой генерации страницы, причины которой можно узнать с помощью профилирования.
Используйте
xhprof или
xdebug, чтобы выявить причину + предварительно изучите логи веб-сервера.
