Доброго времени суток, протестируйте время загрузки главной страницы, и страницы записей в PageSpeed Insights и
тут обратите внимание на элементы на Вашем сайте которые снижают скорость, тест проводите как с плагинами так и без. Надо понимать что любой плагин для CMS это не просто доп функция - это вагон "г..на" который сайт должен тащить за собой. А Jetpack это не вагон, а целый товарный состав с вагонами.