Для iptables, блокировать входящий порт 22 для всех кроме 1.2.3.4:

iptables -A INPUT -p tcp ! -s 1.2.3.4 --dport 22 -j DROP

Можно добавить интерфейс:

iptables -A INPUT -p tcp -i eth1 ! -s 1.2.3.4 --dport 22 -j DROP

Можно для OpenSSH в /etc/ssh/sshd_config:

Match Address 1.2.3.4,1.2.3.5,1.2.3.0/24
        PermitRootLogin yes

Все оказалось не так сложно, минимальное решение:
1. На пограничном компьютере (DebianServer) раздаем интернет

iptables -t nat -A POSTROUTING -o ens3 -j MASQUERADE

2. Меняем адрес шлюза на DebianServer в пакетах внутри моста. Но только для тех, у которых адрес назначения отличается от локальной сети

ebtables -t broute -A BROUTING -i ens4 -d yy:yy:yy:yy:yy:yy -p IPv4 --ip-dst ! 192.168.0.0/22 -j dnat --to-destination xx:xx:xx:xx:xx:xx

, где xx:xx:xx:xx:xx:xx - MAC-адрес моста на DebianServer,
yy:yy:yy:yy:yy:yy - MAC-адрес исходного шлюза.

Это минимальная конфигурация с которой у меня решился вопрос.

По описанию очень похоже на Lemmings. В Linux есть свободное переосмысление.
pingus.seul.org