1. Версия domination последняя? Утекающая память - не норма, ее добавлением вопрос не решить.
2. На камерах настроен второй поток?
3. Если жрется память - можно посмотреть настройки детектора движения. И, если поддерживается, перенести детекцию на камеру.
P.s. Я бы смотрел в сторону замены софта, а не подбора железа. Тестил его лет 10 назад, он проактивно глючил. Слал на камеры настройки в стиле "Разрешение на камере 64*64, битрейт с камеры 16 Мбит". Не знаю как обстоят дела у них сейчас, но у меня нет веры в продукт, который написан региональной компанией, которая торговала камерами и, кажется, пожаркой и не имела никаких компетенций по ит-разработке. Всё выше сказанное является моим личным мнением.