Когда всё в одном файле, любое изменение, даже самое мелкое, инвалидирует весь файл и браузеру нужно заново качать даже то, что не изменилось.
С точки зрения кеширования будет лучше разбить на отдельные файлы. Но если они будут слишком мелкими, будет большой оверхед от сетевых запросов, поэтому нужно подбирать оптимальный размер.