У меня была похожая проблема с FPM, но я отключал xdebug. Попробуйте кстати запустить сайты через встроенный PHP сервер: сделайте php -S localhost:8000 в DOCUMENT_ROOT вашего сайта и посмотрите, как долго отвечает сайт с локалхоста. Тем же wget.
Была такая проблема, когда FPM ложился рандомно на VPS с Debian. При этом количество процессов и так далее не помогали. Не поверите - удалил xDebug и проблем больше не было. Но это в моем случае.