Да, frontend можно оптимизировать сборками и минификаторами, но тут-то боль не в этом.
У меня на хорошем интернете ответ сервера разнится от 3-х секунд (что довольно много) до 20-ти секунд (без комментариев)
Не шарю в php и WP, не знаю, как оптимизировать, но смотреть надо именно туда