Сергей

OPNSense — на фряхе, как и pfSense, но с открытым исходным кодом и несколько более дружелюбным интерфейсом. Я щупал оба — в OPNSense GUI удобнее. На хост ставите ваш любимый proxmox, а OPNSense, как и дополнительные сервисы в виртуалки. Для сети втыкаете нужное количество сетевых карт. Или можно поставить OPNSense хостом, а уже в нём docker/bhyve/что-угодно и там играть с виртуализацией. Включаете репозиторий FreeBSD и ставите всё что угодно оттуда (по-умолчанию выключен и используется свой).

Пробуйте, что Вам зайдет по интерфейсу и возможностям, поднимайте в промоксе, тестируйте.
pfsense
openwrt Может получится подобрать к Вашей железке или банально поднять в промоксе
VyOS
Да много еще чего (даже лень перечислять, все есть в сети, поиск рулит), тот же образ микротика для PC
Но проблема не в образе, прийдется погрузится в сетевой стек, чтобы понимать как настроить правила, чтобы у Вас все работало как Вы задумываете. Не знаю ни одной программы в которой была бы кнопка сделать з***сь.
И "тут помню - тут не помню" ой как будет мешать.

Проблем в этом никаких нет. Просто настраиваете локальный домен (локальную зону) в вашем сервере DNS, например mycompany.local.
В настройках устройств прописываете ваш новый DNS-сервер, и также прописываете поиск доменов по умолчанию на mycompany.local
Тогда у вас будут работать как короткие имена типа server1, s1 и т.д. Так и полные типа server1.mycompany.local s1.mycompany.local и т.д.
Да, раздавать правильные настройки можно по dhcp.
Также в файл hosts можно добавить алиасы для ip-адресов