Я бы посмотрела на сайт у которого с аналитикой яндекса, метрикой гугла, и gtag выдает 99 баллов на мобильной версии.
Итог из этого такой: У вас с конкурентом 2 сайта с +\- 10 баллов на google speed insight - у него на 10 баллов больше, у вас меньше, допустим он выиграет в том, что не подключает метрики для анализа. В итоге выиграет тот, у кого лучше техническая оптимизация сайта, лучший контент, отличные текста, возраст домена и еще очень много факторов.
Google Speed Insight дает вашему сайту всего лишь субъективную оценку, причем только с технической стороны. Он не дает вам анализ контента сайта и прочих мелочей. Так что доводить до абсурда бальную систему гугла - это крысинная гонка.
Да и к тому же сам google часто врет, баллы меняются от нагрузки на сервер, колличестве запросов к вашему сайту, и тд и тп. Пользуйтесь gtmetrix - как по мне, он дает большую картину на производительность.
PS\2: Семантика в итоге тоже может сыграть хорошую роль, если у вас на сайте дивянка, а у вашего конкурента правильная семантика с header\main\footer\aside\h1\h2 и прочее - seo роботы будут недоумевать над вашим сайтом, и любить сайт вашего конкурента, и будет у вас хоть 100 баллов - а у него 75 - вы не подниметесь выше.