Зависит от конечного размера полученного файла. Если там что-то около 50-100 кб (ну так чисто эмперически) или менее - забить. Плюс не надо забывать, что можно применить компрессию (uglifier), gzip и т.д, что настраивается, в принципе, очень быстро.
Даже для 2G соединения - это ни о чем, а для веб-браузера перформанс в css никогда не упирается (даже если использовать кривые селекторы, много уровней вложенности и прочие плохие вещи).
Хотя, в идеале, конечно, лучше иметь раздельные, кмк. Но этим надо заниматься в последнюю очередь.
Pro tip :-) : Лучше обратить пристальное внимание на яваскрипты, особенно сторонние. Все фронд-энд тормоза как правило оттуда вылезают.
