Вам же гугл сказал все - 550мс ответ сервера. Это и есть узкое место. Сервер принимает запрос, делает что-то свое, форвардит на PHP, тот поднимает весь WordPress, тот неоднократно лезет в базу данных, потом данные обрабатывает, генерирует html и возвращает их серверу, который отправляет в браузер. Оптимизуйте так:
- SSD
- Удаляем Apache и забываем как страшный сон
- Nginx, отключить все ненужное логирование, оптимизировать настройки (буферы, keep-alive и тд), gzip, кеширование статики на стороне клиента и адекватное время жизни кеша
- PHP5-FPM версии 5.5.9 и выше с встроенным OPcache, оптимизировать настройки
- кеширующий бекенд (Memcached / Redis)
- MariaDB вместо MySQL (пошустрее будет) - погоняйте неделю-две в дефолтном конфиге, потом тюнить по результату (кеши в основном)
Далее на уровне самого WordPress:
- плагин для объектного кеширования (Memcached / Redis)
- Fast Full Page Cache или аналог (не используйте тяжелые WP Super Cache / W3 Total Cache) для кеширования страниц целиком
- минификация и конкатенация скриптов и стилей
Есть еще и хардкор для настоящих мужчин:
- HHVM с фоллбеком на PHP
- Nginx fastcgi_cache
- Кастомная сборка Nginx с модулем nginx_memcached, чтобы PHP вообще не поднимать без острой надобности
- Nginx SPDY
- и так далее...
Ну и, конечно же, сам сайт надо рефакторить - и верстку, и функционал. Удалить ненужные плагины, где можно обойтись одним фрагментом кода вместо целого плагина - обходиться.
Удачи :)