Алексей Черемисин

Для клиентской сети хватит и гигабита. А вот для сети хранилища очень желательно как минимум 10 гигабит. Иначе будут страшные лаги по сети. На счет vlan даже и не думайте! Два независимых адаптера, ну или один на 10гигабит, разделенный на два srio на vlan-ы! У нас кластер вообше на infiniband 56ги, и то иногда пропускной способности не хватает.
И не жалейте денег на сеть, ее всегда мало! Скйчас за 100килорублей можнл и карточки и коммутатор купить для 10гиг. И оптика не нужна, если все в одной серверной. Да и оптика иногда дешевле выходит, чем медь! Совсем она не дорогая!

Если только для чтения и добавления, делаете webdav, например на базе apache. Если просто нужно скачивать файлы, то выложите их на web, в виде папочек, здесь подойдет любой веб-сервер, хоть апач, хоть nginx, хоть lighttpd. Загружать можете и по ftp. Любой веб-сервер поддерживает авторизацию, хоть по ldap, хоть из файлов, а безопасность можно и по https устроить. Да, не забыть на веб-сервере включить просмотр каталогов.

PS. Есть еще протокол S3, и хорошая реализация сервера хранения - minio.io https://habrahabr.ru/company/southbridge/blog/324086/ - статья на тему

"А не посчитать ли нам, уважаемые Кроты" (Дюймовочка).
1000 iops = 1000 операций ввода вывода в секунду. Предположим, что у нас 80/20% чтение/запись блоками по 128 килобайт. Так как чтение/запись у нас полнодуплексная, то примем 128*8*800 = 819200 килобит или 800 мегабит на чтение. Ну, это в теории, на практике еще нужно учесть накладные расходы на протоколы, а это прибавить от 20 до 60%.

Вариантов как всегда несколько:
1) Отдельный NAS/SAN типа Netapp с кучей полок с подключением по smb/nfs/iscsi (простое внедрение, расширяемо, дорого, вендорозависимо)
2) Каждый сервер со своим локальным хранилищем на дисках - сервер с 16x4Тб дисков в массиве RAID10 (очень простое внедрение, нерасширяемо, неотказоустойчиво, дешево, неоптимальный расход дисков)
3) Строить самому хранилище на основе CEPH например (расширяемо, отказоустойчиво, вендоронезависимо, свободно)

Вот по третьему варианту (CEPH) есть два варианта:
1) Отдельное хранилище, к которому клиентами подключаются сервера, аналог первого варианта.
Каждый сервер хранилища будет иметь: 16х4Тб дисков SATA, 64Гб RAM, два порта 10Гб и/или 40Гб infiniband (по стоимости одно и тоже), процессор любой ксеон.
2) Совмещенное хранилище, каждый сервер хранилища дополнительно запускает виртуалку(ки) с trassir. Конфигурацию каждого сервера увеличиваем на более производительный процессор на 8 ядер и добавляем памяти для трассира.
Типа: 2x Xeon 2680v2, 96Gb RAM, 16х 4Tb SATA.
В этом случае виртуалки могут мигрировать туда-сюда с сервера на сервер абсолютно безболезненно, прикручиваете дополнительно pacemaker и будет полный HA с аптаймом пять девяток!

У нас CEPH держит сейчас 118 терабайт, полет нормальный. Клиенты и виртуалки (KVM) и NFS/SMB.

Про нетапп попробую ответить. Fas8060 расширяемая система, контроллер дисковых полок, с возможностью работы в кластерной кофигурации.
1200 дисков - максимальное число дисков вместе с подключенными дисковыми стойками (jbod).
120gb - внутренняя память контроллера дисков (там еще есть nvram-память на 18тб! - типа гиганского SSD диска, для кеширования и/или хранения)
Uta2 - универсальный контроллер ввода/вывода, может работать как 10gb ethernet или как 16gb FC. Контроллер сдвоенный, в fas 8060, если не ошибаюсь, таких котроллеров 8 штук.
Контроллер расширяется несколькими путями, подключением дополнительных дисковых полок jbod, интерконнектом с подобной системой fas8xxx по инфинибанд 40gb или по сети ethernet/FC, подключением других СДХ по поддерживаемым протоколам.
Несколько контроллеров могут образовывать кластер СДХ (cloud storage).