Влияет и сильно.
1. Если у тебя 2 файла, то да, врятли ты увидишь прирост
2. Браузер использует 6 потоков загрузки данных, то есть если у тебя на странице 100 картинок, 20 скриптов и 20 стилей, они будут загружены в 24 захода (если считать в общем).
3. Каждое новое подключение, будь то загрузка стиля, скрипта, шрифта, картинки это новое подключение к серверу (если подключение к серверу идет 50мс, то каждый файл будет загружен в лучшем случае за 70мс).
Как пример открой google.com, для чего у них по твоему все скрипты и стили в теле страницы грузятся?