WAxel

Привязка на маршрутизаторе IP-адреса ВМ к MAC-адресу ВМ.
Плюс привязка к порту свитча списка MAC-адресов.

Пропишите в firewall нужной VM её IP, пусть firewall пропускает внутрь трафик только для этого IP. Вуаля, любая смена IP, даже через сам ProxMox = потеря трафика.

Ставьте вирт роутер, например микротик, pfSense...
И к ним подключайте ВМ. Там уже рулите как советуют привязкой по мак итд