Я дома пользуюсь Линией под Linux. На работе есть и сервера под windows, и пол линукс. Можно докупать хоть по одному каналу. Очень хороший софт.
Сервер на i5-12400 нагрузка не больше 40% - пишет 32 канал
https://devline.ru/price/
если что, у них там и регистраторы есть под разные потребности.

- от них витая пара (не PoE, питание камер отдельное)

Зачем городить огород и тянуть лишний кабель питания? Делай PoE и не парься, либо можно просто питание подать на камеры по синей и коричневой паре раздербанив витухи либо использую poe-сплиттер типа такого
https://www.citilink.ru/product/splitter-osnovo-pp...

IP, который ей присвоит коммутатор? Например подсеть коммутатора 192.168.0.0 значит у камер будут адреса 192.168.5, 192.168.6, 192.168.07 и так далее?

IP-адреса присваивает роутер с включенным dhcp-сервером, коммутатор адреса обычно получает и то, если он управляемый. В адресах у тебя скорее всего опечатки, 0 в третьем октете не хватает.

А вообще, для видеонаблюдения в идеале выделяют дополнительную подсеть, чтобы трафик видеонаблюдения не мешал основной сети. Как-то так
192.168.10.0/24 - основная сеть
192.168.20.0/24 - гостевая сеть
192.168.30.0/24 - сеть видеонаблюдения