Совсем недавно столкнулся с подобной проблемой, решал ее в том числе и тут на тостере. Только не wp, а magento2, точнее, тема, используемая в шопе, была тому причиной.
Как решали.
1. Тесты, много тестов на разных серверах и условиях, помогли точно убедиться, что причина именно в теме.
2. Профайлер, логирование запросов помогли определить несколько наиболее требовательных модулей, поставляемых с темой.
3. Отключение этих модулей никак не повлияло на ttfb, а вот полное удаление всего лишь одного из них - в моем случае - mega menu от разработчика темы - существенно.
В случае с wp - я бы поначалу отследил, где проблема точно - в теме, в плагинах, может быть в хостинге(сервере).
Полагаю, сделать это не сложно...