Как правильно сказали выше, смотря какая программа видеопоток принимает и обрабатывает. К примеру, у меня 30 IP-камер, передают постоянно 12 fps 1920x1080 (без звука). Обрабатывает их
"Линия IP". В качестве сервера - обычный ПК с i7-6700 и 16Gb ОЗУ (WinServer2012R2). Оперативки отжирает система + Линия около 20%, а вот проц занят порой до 90-95% (обычно 75-80%).
То есть, в моем случае критичен именно процессор, всего остального хватает с запасом.