Пинайте хостера
у вас те страницы, которые долго грузятся, отдаются минуя их кэш с вот такими заголовками
X-Cache: MISS from t1.hoster.ru
X-Cache-Lookup: HIT from t1.hoster.ru:6666
После того, как запинаете хостера, нужно будет решить, сколько кэша и где вам нужно.
Иметь несколько уровней кэширования - плохо. Лучше оставить что-то одно. Проще оставить тот кэш, который вы можете самостоятельно контролировать. В вашем случае это значит отказаться от кэширования на стороне хостера и поставить плагин кэширования для WP.
Еще один очень важный момент.
Этот плагин кэширования (не важно, какой плагин вы будете ставить) нужно будет корректно настроить. Встречал сайты, где плагины были настроены так, что сайт от них торомозил еще больше. Ваша ситуация под такой сценарий как раз и попадает.
Если самостоятельно настроить плагин кэширования не сможете, отказывайтесь от плагина, откатывайтесь к кэшу от хостера. Просите их включить кэш максимально агрессивно.