Если речь зашла о совместной работе плагинов, то я использую следующее:
WP Fastest Cache + WP Fastest Cache Premium (включаю все пункты, кроме оптимизации CSS - 3 пункта).
Autoptimize включаю только оптимизацию CSS + создаю критичный CSS
Или же можно установить PageSpeed Ninja... там это все есть... Или же можно установить Above The Fold Optimization. Он правда. удален из репозитория ВП, но очень хороший плагин.
Ну и конечно же, оптимизируйте сайт, берите нормальный хостинг. Если у вас vps, то используйте nginx или apache + nginx