Обязательно разделите. С ростом кол-ва файлов в одном каталоге вы и сами заметите медленный доступ к конкретному файлу по его полному пути, создайте пару уровней подкатегорий, чтоб не столкнуться с этой проблемой.
А на счёт панели управления хостера, тут немного другая ситуация. Панель сканирует содержимое вашей папки, учитывая количество файлов на это уходит какое-то время.
