Влияют. На некоторых сайтах можно увидеть как прогружается страница, а потом подгружаются шрифты. Грузятся в зависимости от того в каком месте будут указаны, хотя можно настроить и асинхронную загрузку всей статики. Кастомные шрифты добавят индивидуальности, но не стоит слишком перегружать ими сайт. Для некоторых брауезров нужны специальные файлы шрифтов (eot, wof..). Для их получения можно воспользоваться специальными генераторами. Например
https://transfonter.org/. Так же, когда подключаешь шрифты, можно указать флаг, на то что, если будет присутствовать локальная версия шрифта, то он не будет загружаться с сайта