Это называется FOUC - Flash of Unstyled Content. Когда браузер отрисовывает страницу изначально, шрифты еще не догрузились. Когда догрузились - происходит перерисовка. Убрать полностью можно только отправляя сами файлы шрифтов в base64 в основном файле стилей. Тогда шрифт будет доступен сразу вместе с CSS, и все будет ок. Но есть и другой, более корректный способ - HTTP/2 и (в идеале) server push.