"Время ожидания от сервера" – это backend. Это скорость работы самого веб-сервера, PHP, MySQL, WP c плагинами и темой, а также ваш произвольный код. Есть два варианта:
1. Быстрый "хак" – включить кеширование. В идеале в статику. Гуглите плагины и full page cache.
2. По уму – сменить провайдера DNS на более быстрого, сменить хостинг на более быстрый, оптимизировать настройки сервера (nginx, php, mysql, операционная система), добавить объектное кеширование (memcached/redis), оптимизировать код, отключить ненужное и тд. А уже поверх всего этого использовать несколько уровней кеширования.