У меня такое бывает из-за cdn, когда страница обновлена, а cdn еще не закэшировал её в том регионе, откуда гугл ее мониторит. Последующие разы проверки баллы выше. А так разные могут быть причины: от самого хостинга, настроек кэширования на сервере, cdn, до количества http запросов. Чем меньше http запросов, тем ровнее результаты проверки.
Проверьте ещё ваш сайт в gtmetrix, там больше информации по задержкам дают.
Простой
