Я решил эту проблему. Дело оказалось в обилии ошибок HTML.
Проверьте страницу с помощью Validator W3C и исправьте ошибки.
Оценка скорости увеличилась с 71 до 91 у меня после этого.
И еще. Рекомендую делать как Гугл советует, ибо он решает что у него будет ранжироваться выше. Гугл сам себе хозяин, ему на другие сервисы плевать.