Проверьте сколько времени занимает генерация одного ответа
Если есть проблемы, добавьте промежуточные замеры и определите тяжелые вычисления для оптимизации
общую картину, как и добавить измерения на timeline можно с тем же Debugbar или clockwork,
так же там можно увидеть время запросов к базе
Если с этим все в порядке
Проверьте параметры пула fpm
pm.max_children
pm.start_servers
pm.min_spare_servers
pm.max_spare_servers