Объясняю, у меня тоже такое бывает.
Я перестал доверять гуглу по скорости потому что многое зависит от разных факторов.
1) Библиотеки и их вес
2) Фреймворк и их вес
3) Сервер на котором твой сайт сидит и его ресурсы
4) Проходимость трафика
5) Настройки сервера(если ты сисадмин и разбираешься в линуксе) то вполне вероятно что запросто мог наложить безопасность на безопасность.
6) Расстояние сервера, качество сервера и качество компании.
Факторов уйма, все зависит от разных вещей.
Но я бы не стал учитывать ТОЛЬКО google page speed, я бы учитывал по отзывам клиентов с мобильных и с десктопа.
Гугл может говорить одно, а клиенты скажут другое.
Я в компании где работаю, собрал данные около 7 тысяч наших клиентов и опросил какая у них минимальная и максимальная скорость загрузки при разных вариантах.
Из 7 тысяч мне ответили, что для них приемлимо скорость в пределах:2-3 секунд на телефоне в городе при 4G/4G+, 3G/3G.
за городом: в районе 3-5 секунд с мобильных телефонов внезависимости от сети
На компьютере: до 2.9 секунд.
Советы гугла слушать, это значит слушать только его запросы, и только его слова.
Это все равно что сейчас пойти к мастеру ММА и сказать что мастер Крав мага лучше, и он учит лучше, и вообще много кто сейчас ходит на крав мага потому что популярно.
Так же и тут, постарайся прислушаться к клиентам и отправить свой сайт к клиентам.
Постарайся определить как бы тебе было удобнее, сколько ты бы ждал.
Если тебя устроит загрузка в 3 секунды с сотика, а с десктопа 2.3 то иди к таким показателям