Какую технологию хранения выбрать для 100TB+ видео файлов mp4?

Question

[Евгений]

Здравствуйте,

В данный момент 40TB видео в формате mp4 хранится и раздается с сервера на софтовом RAID 10 с кешированием на SSD (12х8TB HDD + 4x1TB SSD, Uplink 10Gbit). Для такого объема данных решение терпимое, но мы уперлись в потолок по объему дисков и по ширине канала. Видится решение использовать хранилище типа Ceph, но нет уверенности, что это подойдет под наши задачи. Пните пожалуйста в нужную сторону.

Comments

[elbrus56]

Вам нужно ТЗ.

Какие требования по производительности? Сколько потоков видео? Какой битрейт?

[Евгений]

Видео 480p, 720p, 1080p. Все псевдостримминг (Nginx).

[elbrus56]

Допустим, что требуется масштабированность, отказоустойчивость, производительность,

Вам нужно определиться с дальнейшими затратами, понять, что выгодее:
- вкладываться в недорогие железки для Ceph и нанять специалиста, который будет в этом разбираться
- купить готовое решение от вендора типа Quantum, Rohde & Schwarz и забыть о том, что у вас есть Storage

[Евгений]

elbrus56, Спасибо!

Да, конечно - масштабированность, отказоустойчивость, производительность
Железки есть - двух-процессорные, 18 дисков HDD/SSD, 4 NVMe, 10-20 Gbit local uplink, 10-40 Gbit Internet

[elbrus56]

Евгений, если оборудование уже есть, вкладываться сильно не хочется и не требуются скорости пост-про - попробуйте собрать кластер Ceph. Обязательно найдите человека с опытом работы. Кластер собрать и по книжке можно, но нюансы известны только специалистам. Впрочем, так со многими SDS.

Answer 1

[athacker]

Горизонтально масштабируемые хранилища: Ceph, GlusterFS, Microsoft Scale-Out File server, Veritas Access.

Answer 2

[poige]

Более точно — не CEPH сам по себе, а «надстройки» над его pool'ами — CephFS, или S3/Swift на RadosGW.