Сложно будет реализовать, но можно попробовать использовать EoIP или VxLan.
В офисе за NAT есть железный Mikrotik
EoIP или VxLan требуют белый IP обеих сторон, поэтому придется использовать эти протоколы поверх VPN, например WG или IPsec. Что в свою очередь приведет к уменьшению MTU и может вылезти где-то боком.
Я бы не отбрасывал вариант с пробросом портов, он проще и стабильнее.