Как объединить множество серверов в единое дисковое пространство, но каждый сервер мог раздавать файлы?

Question

[Евгений]

Здравствуйте,

Есть 50 серверов с двумя 1 Gbit аплинками по локальной и внешней сети. Каждый сервер имеет 2x 2 TB SSD диска. Есть ли технологии, которые могут объединить их в одно дисковое пространство, и в то же время, каждый сервер мог бы быть сервером раздачи файлов?

В теории: Если учесть избыточность хранения 1+1, то имеем распределенный массив 50x 2 TB = 90 TB с суммарной пропускной способностью 50х 1 Гбит = 50 Гбит.

Update: С хранением более-менее понятно Gluster, Ceph. Не понятным остается, можно ли сделать так, что бы каждый сервер был и сервером раздачи. Каким образом это реализуется? Хотелось бы получить распределенную раздачу, но видимо, это все фантазии.

Answer 1

[Дмитрий Шицков]

Возможно вам под задачу подойдет Glusterfs или прочие сетевые ФС с репликацией

Comments

[Евгений]

Ну вот с хранением более-менее понятно Gluster, Ceph, не понятно, можно ли сделать так, что бы каждый сервер был и сервером раздачи тоже.

[Дмитрий Шицков]

Евгений, с ceph затруднительно, т.к. каждый сервер не хранит полную копию данных.
С gluster - да, вполне. На каждом серевере полная копия.

[Евгений]

Дмитрий Шицков, но тут получается, если будет популярный файл и много клиентов желающих его скачать, то 1 Гбит может не хватить, так?

[Дмитрий Шицков]

Евгений, да, но как это связано с вопросом?)

[Евгений]

Дмитрий Шицков, Хотелось бы получить распределенную раздачу.

[Дмитрий Шицков]

Евгений, перед серверами должен стоять балансировщик - haproxy или nginx

[Евгений]

Дмитрий Шицков, Да, но если балансировать и запрашивать по локалке, то 1 Гбит не хватит.

Answer 2

[Wexter]

В чём проблема на каждом сервере смонтировать общий том и раздавать нужным вам протоколом?

Comments

[Евгений]

Спасибо, но технология "смонтировать общий том" не гуглится ) Есть какой нибудь общепризнанный термин у этой технологии? )

[Дмитрий Шицков]

Евгений, nfs, smb и проч.

[Wexter]

Евгений,

mount -t glusterfs localhost:/share /mnt/share

Вы уж извините, но сдаётся мне не стоит вам заниматься этим, раз уж не в силах нагуглить такую простую вещь.

[Евгений]

Wexter, простите, много вопросов возникает по ходу.
Если Glusterfs хранит полную копию данных, то задействовать более одного сервера для раздачи файла не получится, так? А цель - получить распределенную раздачу.

[Wexter]

Евгений, не понимаю вопроса. В чём вы видите ограничение?

[Евгений]

Wexter, будет популярный файл и его запросит множество клиентов, все упрется в 1 Гбит исходящего канала конкретного сервера, где хранится вышеуказанный популярный файл. Я ведь правильно понимаю?

[Wexter]

Евгений, правильно.
Для распределения/увеличения скорости есть несколько вариантов:
1) Ставим сервер с каналом 10/40гбит который будет держать шару и раздавать
2) Ставим на все сервера карты 10гбит
3) Если раздаёте по http(s) то динамически отдавайте клиентам адреса разных серверов.

[Евгений]

Нет возможности изменить сетевые интерфейсы, только 1 Гбит.

[Дмитрий Шицков]

Евгений, тогда 1 гбит на клиента ваш потолок или использовать больше 2х серверов и ceph

[Евгений]

Изначально под файлами предполагались видео файлы MP4, а если взять за пример HLS или MPEG-DASH (они ведь поделены на сегменты). CEPH "размажет" их по кластеру и получится распределенная раздача, верно? Другой вопрос, как заставить каждый сервер отдавать эти части, что бы получить распределение по внешнему каналу?

[Дмитрий Шицков]

Евгений, не зависимо от файла ceph будет отдавать файл блоками. А файлы и так будут размазаны по нодам.

[Евгений]

Дмитрий Шицков, но в итоге, задействовать в раздаче 1 Гбит внешнего канала каждого сервера не получится? Т.е. задействовать теоритические 50 Гбит не представляется возможным без отдельного сервера 10-20 Гбит ? )

[Wexter]

Евгений, можно, если 50 клиентов будут подключаться к 50 серверам. если 50 клиентов подцепятся к одному серверу - скорость будет гигабит

[Евгений]

Wexter, Спасибо. Если данные размазаны по кластеру, то маловероятно, что все подключатся с одной ноде? Другой вопрос, как кто это балансируется?

[Wexter]

Евгений, грубо говоря прикручиваете серверам адреса srv1...srv50.example.com и клиентам отдаёте разные адреса для скачивания. В идеале к этому ещё прикручивается мониторинг который выравнивает нагрузку на сервера