Какое решение выбрать для файлового сервера?
Ну у вас вполне нормальное решение.
то сервер больше не дает файл на скачивание, как бы зависая.
Ну так надо разобраться в чем проблема.
Запускаете мониторинг - смотрите нагрузку на сервер в реальном времени, в логах. И уже будет видно что именно не справляется - диск, процессор, память, сеть. Какие процессы грузят. Как настроен сервер, сколько он тратит ресурсов. Насколько гарантированные ресурсы у хостера.
Зная в чем узкое место можно уже думать об оптимизации - , нормальная настройка сервера, добавление физических ресурсов, и.т.д.
А так может быть что угодно - может у вас там хостер дисковые ресурсы экономит, или еще что.
Бывают случаи что апачем файлы раздают, или еще чего учудят.