Как выбрать конфигурацию для системы видеонаблюдения?

Question

[Никита]

Здравствуйте, камрады.
Прижала меня, простого сисадмина, судьба строить большую систему видеонаблюдения, сам с ентерпрайзом близко не сталкивался. Поэтому прошу вашего совета.

Будет около 300 камер, 5-7 серверов Trassir, 300Тб данных, входящий поток данных 3-4 Гбит/с(считал по калькулятору).
Подскажите как строить систему(RAID 10 или 50, какую СХД лучше выбрать, NAS или SAN, сгодятся ли Tier-2 решения, какую топологию СХД использовать), закладывать резервирование. Хотя бы где можно почитать на эту тему, ознакомиться с принятыми практиками в построении подобных систем. Если надо больше данных спрашивайте, вопрос бюджета остро не стоит.

Answer 1

[Алексей Черемисин]

Вариантов как всегда несколько:
1) Отдельный NAS/SAN типа Netapp с кучей полок с подключением по smb/nfs/iscsi (простое внедрение, расширяемо, дорого, вендорозависимо)
2) Каждый сервер со своим локальным хранилищем на дисках - сервер с 16x4Тб дисков в массиве RAID10 (очень простое внедрение, нерасширяемо, неотказоустойчиво, дешево, неоптимальный расход дисков)
3) Строить самому хранилище на основе CEPH например (расширяемо, отказоустойчиво, вендоронезависимо, свободно)

Вот по третьему варианту (CEPH) есть два варианта:
1) Отдельное хранилище, к которому клиентами подключаются сервера, аналог первого варианта.
Каждый сервер хранилища будет иметь: 16х4Тб дисков SATA, 64Гб RAM, два порта 10Гб и/или 40Гб infiniband (по стоимости одно и тоже), процессор любой ксеон.
2) Совмещенное хранилище, каждый сервер хранилища дополнительно запускает виртуалку(ки) с trassir. Конфигурацию каждого сервера увеличиваем на более производительный процессор на 8 ядер и добавляем памяти для трассира.
Типа: 2x Xeon 2680v2, 96Gb RAM, 16х 4Tb SATA.
В этом случае виртуалки могут мигрировать туда-сюда с сервера на сервер абсолютно безболезненно, прикручиваете дополнительно pacemaker и будет полный HA с аптаймом пять девяток!

У нас CEPH держит сейчас 118 терабайт, полет нормальный. Клиенты и виртуалки (KVM) и NFS/SMB.

Comments

[Никита]

Спасибо за перечисление вариантов, очень интересно. Я больше в сторону SAN смотрю. Если бы сам его поддерживал после запуска, то был бы смысл в сторону Ceph смотреть. Последний вариант силен. Я как-то в сторону виртуалок, как элемента резервирования, не смотрел, для меня пока что это всего лишь способ разные ОС на одном железе запускать.

[Алексей Черемисин]

Как таковой SAN наверное не очень хорошо, а вот производительный NAS гораздо лучше, особенно когда он облачный, что собственно Ceph и делает, ну и netapp и остальные вендоры тоже. Если будете сами поддерживать, то Ceph наверное приятнее, если другие, то смотрите на netapp и компанию.
Виртуалки, как элемент резервирования очень хороши, особенно когда они привязаны к распределенному стораджу. Виртуалка упала и через 5-30 секунд поднялась на другом сервере, или по команде просто переехала на другой сервер для уменьшения нагрузки или ее распределения. Красота одним словом.

[Никита]

Алексей Черемисин: разъясните пожалуйста, в чем различие облачного NAS и SAN. Мое представление такое, SAN та же куча сетевых хранилищ с резервированием и балансировкой(как и Ceph), только с повышенной пропускной способностью и надежностью(в отличие от NAS), и адской паутиной на свитчах(на случай если какой-нибудь накроется). И как обеспечивают подобную работу с виртуалками, ESXi?

[Никита]

Алексей Черемисин: Считаю и начинаю думать, что хватит и 4*24 полки забитых SATA.

[Алексей Черемисин]

Ну, традиционно SAN - это FC с SAN-коммутаторами, а опционально уже подключение по сетевым протоколам. Например IBM DS-4000 вообще умеет отдавать только по FC, расширяется также по FC полочками.
NAS изначально ориентируется на отдачу по iscsi/nfs/smb, хотя внутри может иметь SAN-фабрику.
Честно говоря сейчас понятия NAS/SAN сильно размыты. Если мне говорят SAN, то я сразу представляю подключение блочного устройства по FC (а ну его нафиг!). А если говорят NAS, то ethernet с кучей протоколов типа iSCSI и возможно готовой файловой системой по NFS/SMB.
Если говорить про виртуалки, то вариантов несколько:
1) хранилище отдает iscsi или блочное устройство - тогда все просто, указываем подключение напрямую
2) распределенный SMB/NFS(pNFS) - подключаем на уровне OC в самой виртуалке или через образ в хостовой машине.
3) если брать ceph, то для ESXi нужно будет делать раздачу по iscsi отдельно (для этого отдельные ресурсы нужны и их резервирование), если KVM - подключаемся непосредственно к пространству RBD (резервирование делает сам Ceph в этом случае)

[Алексей Черемисин]

Никита: "... что хватит и 4*24 полки забитых SATA ..." - тут хорошо бы еще посчитать нагрузку на коннект (через что подключать будем FC/SAS и куда) к этим полкам, хватит ли производительности интерфейсов? Например подключил я 4 полки к одному контроллеру, а его в свою очередь к серверу раздачи, справится ли, не упрется ли в производительность контроллеров, интерфейсов, сервера?

[Никита]

Алексей Черемисин: ну это само собой, там всего 4Гбит/с максимум будет. Я думаю 10GE или FC не глядя прожует. С контроллерами, серверами, конечно надо будет отдельно считать.

[Алексей Черемисин]

Никита: я бы заложился на два 10GE, а FC вообще бы не рассматривал как хост-подключение. Будет только одна проблема, узкое место как раз будет хранилище, если оно накроется... в отличие от ceph, который спокойно переносит выключение любого компонента... Так что может случиться, что ceph и по деньгам и по надежности будет лучше, но неудобней в администрировании..

[Никита]

Алексей Черемисин: Полностью согласен, я вообще склоняюсь к тому, чтобы продублировать все что можно. Что думаете о RAIDIX? Или это применимо только для high-load?

[Алексей Черемисин]

Никита: RAIDIX ни у кого из знакомых не стоит, сам не тестировал, так что сказать нечего. Статьи на хабре читал конечно, по мне, если серверов больше двух, то ceph, а так можно и DRBD и прочите решения...

Answer 2

[Андрей Ермаченок]

судьба строить большую систему видеонаблюдения

вопрос бюджета остро не стоит

Сам полностью строить собираешься и обслуживать, или подрядчик?
Если подрядчик - разошли запросы. Пусть предлагают, рассказывают, доказывают, что их решения оптимальны. Да даже если и сам - всё равно. Такой заказ любая фирма захочет получить.
У нас система поменьше - 32 камеры, 2 регистратора - охрана с установщиками всё напрямую решала, я только проконтролировал, чтоб явной халтуры не было. И сейчас видеонаблюдение на обслуживании у сторонней организации - которая устанавливала.

Comments

[Никита]

Только строить, на мне подбор оборудования, ПНР. Сами такой заказ получили и не хочется в лужу садиться. 32 камеры это фигня, такие не раз уже строил. А тут совсем другой масштаб и требования, хотелось бы построить так, чтобы после меня не сильно матерились. И построить самому, чтобы получить ценный опыт.

Answer 3

[Руслан Гайфутдинов]

На сайте dahua есть интересное решение nvr6000 сетевые видеорегистратора, кластерные системы со всеми вытекающими.