1. PageSpeed - не серебряная пуля. Это, в первую очередь, синтетика.
2. В отладчике включите троттлинг и смотрите, как ведут себя шрифты, если у вас нет текста - font-display попросту не работает
3. Убедитесь, что у вас сброшен кеш (как серверный, так и локальный) прежде чем тестировать
4. Вам не нужно использовать PageSpeed, у вас в Хроме уже есть LightHouse, к которому PageSpeed обращается. Так сказать, внешняя реализация того, что встроено уже в хром (не к вашему локальному, если что)
5. Возможно, у Вас недостаточно запасных шрифтов для отработки свапа. У вас идет обращение к локальным шрифтам, которых модет не быть. Я бы свапал на Roboto/Arial/serif/sans-serif.
6. Убедитесь, что у вас правильно написан фоллбек в src, включая отсылку на локальные шрифты