на размер CSS файла повлияют очень сильно. Будет ли сайт очень долго грузить CSS ?
не повлияют. не стоит заморачиваться.
Есть такой термин - преждевременная оптимизация. Такая оптимизация даже хуже ее полного отсутствия.
ЗЫ
Сверстай все страницы. Потом проверяйте скорость загрузки. При необходимости разобьете один файл на несколько (тем более с препроцессором это не составит труда).
Хотя я не думаю, что у вас в итоге выйдет огромный файл стилей, который нужно будет распиливать..