Денис

Если видеокарта не поддерживает аппаратное декодирование конкретного кодека, То вся нагрузка идет на процессор. кодеки разные бывают.

Вы можете посмотреть спецификации вашей материнской платы. Должен вытянуть упомянутый xeon.
Насчет RAM Если у материнской платы 4 слота, можно поставить по 8гб. Если вы хотите купить серверную материнскую плату.(скорее всего тут играет роль чипстет) то вы сможете поставить серверную оперативную память по 16гб.
Если у вас бп 350ватт. и дает честные 350 то можно оставить. если у вас нонейм бп. То вам придется его заменить.

Можете использовать https://www.intel.com/content/www/us/en/nuc/nuc-ki...
есть 3 видеовыхода, еще есть Thunderbolt 3, так же можно через один Thunderbolt подключить до 6 дисплеев теоретически.