Как сделать сервер для видеонаблюдения?

Question

[Рамазан Ахриев]

Сижу на облачном видеонаблюдении от Ростелеком (камеры наши, а запись и архив — у них в облаке). Месячная плата за 70 камер стала чувствительной, и мы хотим перенести всё на свой железный сервер в цеху.

Исходные данные:

70 IP-камер (наши, стоят по заводу).

5 коммутаторов — к ним эти камеры разведены.

Цель: своя система с записью 24/7, архив на 30 дней и удалённым просмотром.

Самому собирать сервер — не проблема. Но я не спец именно в видеонаблюдении. Нужен совет по архитектуре, чтобы не накосячить с масштабом.

Вопрос: Что надёжнее и выгоднее в долгосрочке для 70 камер?

2. Как посчитать, какое «железо» нужно для своего сервера?

Процессор: На что ориентироваться? Сколько ядер/потоков нужно для 70 потоков? Берём Xeon или Ryzen?

Диски — самый важный момент:

По какой простой формуле посчитать, сколько терабайт нужно для 30 дней записи с 70 камер? (Допустим, камера 4 Мп, H.265) Или чтобы примерно были различимы лица.

RAID — нужен ли? Если да, то RAID 5, 6 или 10? Или хватит просто больших HDD (типа WD Purple) и резервной копии конфигов?

SSD под систему ставить или без него можно?

Сеть:

Все камеры на 5 разных свичах. Как правильно свести потоки к одному серверу? Нужно ли делать для камер отдельную VLAN?

Хватит ли 300 мегабит/с на сервере? Как грубо прикинуть общий поток?

3. ПО и лицензии

Камеры вроде как ONVIF. Если брать коммерческое ПО (Axxon, Trassir) — это разовые лицензии за каждую камеру (~5 тыс. руб.) или ежегодная подписка?

Если брать бесплатное (ZoneMinder, Shinobi) — справится ли оно с 70 камерами без геморроя? Или лучше заплатить за «коробку»?

4. Подводные камни

На что чаще всего «наступают» при таком переходе? (Проброс портов, питание сервера при пропаже света, безопасность).

Comments

[mayton2019]

Проще всего посчитать суточный прирост файлов на основе имеющихся данных.

Камеры могут писать с переменной скоростью. Например днем - много информации
трафик большой. Ночью - изменений мало и он ужимается.

Поэтому я-бы взял померял объем файлов неделю назад. Потом сделал разность
между сегодня и неделю назад и поделил на 7. Как-то так.

[SunTechnik]

Вы бы начали с того: какого разрешения камеры и какой поток (битрейт) с них пишется.
Отсюда будет понятны и требования к сети и требования к месту.

Answer 1

[pred8or]

Ну вот смотрите. Есть объект на порядка 100 камер, можно считать что на вас похоже.

1. Сервер видеонаблюдения: 24 отсека на 3,5", занято половина. интерфейсы как медные 1Гб, так и оптика 10Гб. 2 процессора Xeon Silver 4208 @ 2.10GHz. Чтобы принимать и класть потоки и отдавать видео без компрессии клиентам - более чем. По заббиксу загрузка процессоров выглядит как-то так:



2. Диски. Состояние массива сейчас примерно следующее:

/dev/sdc         13T  2.6T   11T  20% /mnt/cctv14tb02
/dev/sdb         13T  2.6T   11T  20% /mnt/cctv14tb01
/dev/sdj         13T  2.6T   11T  20% /mnt/cctv14tb09
/dev/sdm         13T  2.6T   11T  20% /mnt/cctv14tb12
/dev/sde         13T  2.6T   11T  20% /mnt/cctv14tb04
/dev/sdf         13T  2.6T   11T  20% /mnt/cctv14tb05
/dev/sdk         13T  2.6T   11T  20% /mnt/cctv14tb10
/dev/sdd         13T  2.6T   11T  20% /mnt/cctv14tb03
/dev/sdl         13T  2.6T   11T  20% /mnt/cctv14tb11
/dev/sdh         13T  2.6T   11T  20% /mnt/cctv14tb07
/dev/sdi         13T  2.6T   11T  20% /mnt/cctv14tb08
/dev/sdn         15T  4.4T   11T  30% /mnt/cctv16tb01

Естественно, никаких рейдов. Убьёте весь массив если начнёте восстанавливать. Просто следить за СМАРТом и менять при подозрениях. Софт, что мы используем умеет автоматом размазывать по имеющимся дискам

Хочется SSD под систему, ставьте. Не хочется, не ставьте

3. Сеть. Сеть сегментировать. Вам же не хочется чтобы юзеры были в той же сети что и камеры. Трафик на этих 100 камерах примерно вот такой:



Казалось бы немного. Но зато стабильно. У нас в выделенном влане с бэкбоном в 10Гбит о пропускной способности ещё долго не придётся задумываться

4. Что касается софта - когда изучали вопрос, тестировали всякие опенсорсные. Близко не в состоянии. Остановились на коммерческом. Будет интересно, в личке скажу. Тут полный фарш. Отсутствие лицензий на пользователей, только на камеры и функциональность. Рабочих мест может быть сколько угодно. При этом по разным причинам у нас разные пользователи в разных вланах и камеры тоже. Управлять этим совсем не сложно. Умеет размазывать архив по разным дискам, регулярные обновления. Всякое ИИшное

5. Кстати, об ИИ. Не забудьте предусмотреть в сервер подходящую видеокарту, если захочется например лиц или номеров, никуда не деться.

Comments

[rPman]

у вас камеры на 1мбит? там не то что лица, там людей то с трудом будет видно!?
или камеры занимают сеть только если есть изменения в кадре?

[pred8or]

2560х1440 h.265 Всё что надо кому надо видно

[Рамазан Ахриев]

Вот тогда я думаю мне хватит 2680v4 с 32gb ram.
Также если ввести съемку в таком формате 2560х1440 h.265 какой fps предпочтительнее?
Также вы сказали что raid система не нужна, есть ли какаю нибудь защита. Вот допустим 1 hdd полетел сохранятся ли данные котоыре были на нем в другом диске, или там другая система.

Также Все камеры на 5 разных свичах. Как правильно свести потоки к одному серверу? Нужно ли делать для камер отдельную VLAN?

И как такое большое количество hdd подключается к 1 пк? Через материнскую плату через sata я думаю не хватит. Или там тоже другая система

[Рамазан Ахриев]

pred8or,
Камеры у нас:
IP-камера Ростелеком IPC-HFW1230SP
Не 2ка. Но они были до меня, для меня главное сделать сервер для них и выжать максимальное качество съемки от них

[pred8or]

Нормально 25-30 fps (ну не 60, точно, ибо перебор). 15 - будет слишком дёргано

Конечно, 24 отсека (в моём случае) к обычной бытовой матери не подключить. Серверная материнка с интегрированным SAS-контроллером. Такие бывают. Ну, либо отдельный. И к нему SATA-диски. 8 или там 16 или сколько захотите - с разводкой на бэкплейн для дисков с горячей заменой.

За здоровьем дисков обязательно надо следить. Начались подозрения на бэдблоки, отключаете на него запись, вставляете в свободное место новый, через месяц плохой вынимаете. До полного умирания доводить конечно не стоит

Сеть сегментировать, ибо ИБ

Answer 2

[Drno]

2 регистратора Hikvision по 32 канал - цена вопроса до 100к

ну или трассир если надо российское - цена вопроса 500к

остальные варианты будут дороже, потому что надо обслуживать. Тот же Zoneminder хорошо работает, но надо иметь готовить и следить за сервером

Answer 3

[Rsa97]

Обратитесь к вендорам таких систем, они вам посчитают всё под ваши требования.
В принципе, на Trassir'е 22 камеры у нас дают ~160Гб в день в режиме записи по движению. Это ~ 35 дней на 3+4 Tb HDD. Но у вас могут быть другие камеры, с другим разрешением и сжатием.
Процессор Celeron CPU J3455, загрузка 95%, но, вроде, справляется. Скорее всего, ПО просто пропускает отдельные кадры, если не хватает ресурсов.
Поток по сети тоже зависит от разрешения камер, частоты кадров и того, кто будет сжимать картинку. FullHD камера в h264 даёт ~2 Мбит/с на 12 FPS.
RAID особо не нужен, если не страшно раз в несколько лет потерять неделю-другую записей. Софт обычно пишет на все доступные диски по кругу, затирая старую информацию.
SSD смысла не имеет, система грузится один раз и будет она загружаться десять секунд или одну минуту - неважно.
Лицензии на Trassir идут из расчёта на камеру, софт есть как в виде отдельно OS на базе линукса, так и на Win64.
VLAN имеет смысл только если ваши камеры в общей сети. Если вы их настроили и перенесли в физически отдельную сеть, то можете просто на сервере поднять два сетевых интерфейса, первый смотрит в сеть с камерами, второй в общую сеть. Но для перенастройки камер придётся подключаться к этой отдельной сети.

Answer 4

[Komrus]

> 1. Что надёжнее и выгоднее в долгосрочке для 70 камер?
Практически всегда своё - выгоднее.
А с надежностью - нало продумывать, что будете делать, КОГДА оно сломается.
Иметь HDD в запасе и блок питания для сервера.

> 2. Как посчитать, какое «железо» нужно для своего сервера?
Использовтаь калькуляторы :)
Попроще (только ёмкость диска) - от DSSL (Trassir)
https://www.dssl.ru/integratoram/trassir-calc.php

От VideoNet
https://www.videonet.ru/kalkulyator-videostanczii.html

Навороченный - от Axis
https://sitedesigner.axis.com/
(Разумеется - предлагает камеры и сервера от Axis. Но для понимания масштабов бедствия - вполне)

В любом случае - нужна
а) таблица имеющихся в хозяйстве камер (разрешение, что она видит; что она своими силами умеет делать (например - детектить движение));
б) Понимание по стратегии записи (только по движения или всегда; круглосуточно или только днём)
в) Если пишете по движению - насколько интенсивное движение в кадре у каждой камеры днём; и ночью.
г) Какие навороты планируете по каждой камере/группе камер
(например - распознавание номеров; распознавание лиц; пересечение периметра; оставленные предметы и т.п..)

> 3. ПО и лицензии
"Я Вам не скажу за всю Одессу" :) Но обычно - разовые (перманентные) лицензии на каждую камеру и на различные фишки (например - распознавание номеров; распознавание лиц...)
Плюс - отдельно многие вендоры предлагают к Вашему серверу СВОЁ облако (ничего личного, просто бизнес :).
Просто надо аккуратно выбирать лицензии.
На 70 камер, на мой взгляд уже лучше на коммерческие софтины смотреть.

Comments

[Рамазан Ахриев]

На 70 камер, на мой взгляд уже лучше на коммерческие софтины смотреть.
Какие к примеру?
На распознавание номеров не так надо. Да и лиц тоже просто чтобы показавало в каком временном промежутке было движение

[Komrus]

> Какие к примеру?
Дык вышеупомянутые.
Например - Trassir от DSSL
VideoNet

Answer 5

[Kenshin]

Вопрос: Что надёжнее и выгоднее в долгосрочке для 70 камер?

Коммерческие решения выгоднее.

Процессор: На что ориентироваться? Сколько ядер/потоков нужно для 70 потоков? Берём Xeon или Ryzen?

Хочешь Ryzen 5, хочешь i5-10500, хочешь Xeon - это в принципе не особо критичный вопрос для сервера видеонаблюдения, нагрузка на проц не настолько высокая - она скорее равномерная и постоянная. Лучше конечно иметь запас по мощностям, но в целом на базе R5 собирали для небольших предприятий. Пыхтело спокойненько.

По какой простой формуле посчитать, сколько терабайт нужно для 30 дней записи с 70 камер? (Допустим, камера 4 Мп, H.265) Или чтобы примерно были различимы лица.

Любой калькулятор производителя бери - забивай данные - получишь примерный объём.
Не совсем точный вариант (зачастую даёт запас до 20%), но даёт понять сколько нужно.

RAID — нужен ли? Если да, то RAID 5, 6 или 10? Или хватит просто больших HDD (типа WD Purple) и резервной копии конфигов?

Вообще не нужен. Если ПО умеет равномерно писать на разные диски, то всё гуд. Если не умеет - назначать ручками и распределять.
RAID для видеосервака - фича излишняя, в основном для ОС и основного конфига ещё применимая, но никак не для видеоархива.
А вот следить за наработкой винтов - очень и очень желательно.

SSD под систему ставить или без него можно?

По желанию. В принципе серверные WD вполне справляются с записью, "огромные скорости чтения" тебе не нужны, если архив постоянно не мониторят на предмет "Что произошло".

Конкретно в случае видеонаблюдения - смотри на цену за гигабайт.

Все камеры на 5 разных свичах. Как правильно свести потоки к одному серверу? Нужно ли делать для камер отдельную VLAN?

Отдельная подсеть/VLAN с разграничением трафика. Камеры будут стабильно отжирать кусок сети поэтому лучше чтобы их каналы не пересекались с юзверями.

Хватит ли 300 мегабит/с на сервере? Как грубо прикинуть общий поток?

С головой и ещё запас останется.

Камеры вроде как ONVIF. Если брать коммерческое ПО (Axxon, Trassir) — это разовые лицензии за каждую камеру (~5 тыс. руб.) или ежегодная подписка?

Зависит от поставщика. Ivideon - ежегодный, Линия - единоразовый в рамках одного мажорного обновления (минорные бесплатно, переход между версиями емнип платный), Trassir - единоразово etc. Нужно смотреть конкретные условия поставщиков.
Также нужно смотреть список поддерживаемого оборудования у поставщиков - наличие ONVIF вовсе не означает что камера взлетит на ПО.

Если брать бесплатное (ZoneMinder, Shinobi) — справится ли оно с 70 камерами без геморроя? Или лучше заплатить за «коробку»?

Лучше заплатить.

На что чаще всего «наступают» при таком переходе? (Проброс портов, питание сервера при пропаже света, безопасность).

Ууууу, поехали:
1. Отсутствие резервирования питания. Света вышэл - видео вышел за ней.
Причём резервирование не только на сервере, но и на сетевых узлах.

2. Доступы. Все хотят апсы в телефончик - не все программы это умеют.

3. Безопасность. Стандартные порты, стандартные настройки по мануалу, типовуха.

4. Непонимание "А защем оно мне вообще надо?". Берётся какой-нибудь IntellectTV в максимальной комплектации за пару миллионов, а потом появляется задача дать ответ "А зачем такое взяли"?

Соответственно для бесшовного перехода нужно:
1. Определить что ты хочешь получить от камер видеонаблюдения. Это аналитика, распознавание, интеграция с СКУД (чтобы по моське пропускать) или просто наблюдение.
2. Определить нужен ли удаленный доступ и какого типа. Гендир хочет в телефончике всё видеть или будет оператор за отдельным ПК, или вообще видео "по запросу"?
3. Определить минимальные характеристики. Посчитать минимальный объём накопителей и глубину архива (берём битрейт, разрешение и режим записи для этого - запись по детекции и запись 24/7 кардинально по разному жрут ресурсы). Если нужна аналитика и ИИ - заложить стоимость видеокарты (нормальной), если нужна интеграция с СКУД - уточнить возможность такой интеграции.
4. Определить поставщика ПО подходящего под все требования.
5. Зарезервировать электропитание (повесить ящики с батарейками и возможностью удаленного управления/тестирования) на коммутаторы (ты же не хочешь чтобы половина камер отлетела?), проверить работают ли камеры с PoE, а не запитаны от ближайшего угла (ты же не хочешь чтобы резервирование держало свич, но камеры отлетали?), сделать резерв для сервера.
6. Настроить сеть - выделить отдельный сегмент для видеонаблюдения, настроить разграничение трафика и проверить не забивает ли он голову (маршрутизатор).
7. Купить и установить ПО. Радоваться жизни.
С самим ПО, откровенно говоря, не припомню никаких подводных камней - даже с самым занудным вариантом IntellectTV единственная проблема была это менеджер который не прислал дополнительные лицензии для распознавания.

Answer 6

[Алексей Черемисин]

Из бесплатного - рекомендую https://frigate.video/
Умеет писать по событиям, также есть ИИ. можно подключить к home assistant!
У меня в тестовом виде пашет.

Comments

[Komrus]

Вопрос - на каком количестве камер и на каком типе объекта?
Должна ли тревожная группа выезжать по "неправильным" событиям, обнаруженным системой видеонаблюдения?

[Алексей Черемисин]

Komrus, А это вопрос не ко мне, а к вопрошающему. Ну и как минимум, чтобы куда-то выезжать, событие должно быть валидировано, отсекая тем самым те "неправильные" события. Другими словами - должен быть мальчик, или девочка, которые глазками посмотрят на событие и дадут команду на выезд :)