Я бы не грешил на нгинкс/пхп
У меня аналогичные конфигурации php8.*-php + nginx под Дебианом свежим - точно тут не тормозит.
Мускул да, может, но про него речь пока не шла?
Я бы с порта переключился на сокет php , ну и логи глянул, может там что обнаружится..
Ну и одно ядро под вопросом...всегда стараюсь два хотя бы использовать:)