Согласен с
nirvimel в том, что надо смотреть $upstream_response_time. Если время ответа бэкенда примерно такое же, как и время ожидания - стоит посмотреть на то, чем он так занят.
Чаще всего в подобных случаях виноват бэкенд. Особенно если там какая-нибудь джумла (ну да... не люблю я её), придется лезть в потроха и смотреть, где там что (тогда php-xdebug + qcachegrind в руки).