У вас каждый запрос через какое-то время (условно, по истечении Х минут) идет с TTFB ~5 секунд. Во-первых, это серверная проблема, а не всякие там сжатия скриптов и прочее. Во-вторых, то что она периодическая, наводит на мысль что генерится какой-то кеш, и сама генерация занимает много времени, потом в течении времени жизни этого кеша все происходит быстрее. Когда время жизни кеша заканчивается, очередной запрос генерит его заново, и это опять медленно.
Для начала покажите список плагинов. Не исключено что стоит что-то, что пытается как раз сжимать, к примеру, html.
P.S.: Еще могу быть сторонние запросы из PHP, которые кешируются.