Миллисекунды важны для разработчиков и сисадминов (здесь чем меньше, тем лучше), а поисковые системы анализируют соответствие параметров Веб-сервера, CMS и контента т.н. Web Performance Best Practices. Например, если Ваш сервер запрещает кеширование статики в браузерах и прокси-серверах, то оценка Вашего сайта будет ниже, независимо от времени ответа в миллисекундах.
Более подробная информация есть в
описании PageSpeed Insight. Вот небольшая выдержка:
Так как скорость подключения у разных пользователей различна, PageSpeed Insights рассматривает только независимые от сети аспекты работы страницы: конфигурация сервера, структура HTML, использование внешних ресурсов (изображений, JavaScript и CSS). Применив наши рекомендации, вы сможете оптимизировать относительную скорость загрузки страницы. Абсолютная же скорость загрузки в конечном итоге все равно зависит от скорости подключения к сети.