Максим

Внутри сети данные будут идти только через свич.
Если наружу - тогда уже пойдёт на роутер.

1. Отключить сервис web
2. Настроить проброс адреса
3. Настроить Hairpin NAT

Ситуация: умер важный сервер и нужно срочно его восстановить

Если он на самом деле важный, то у вас два (с половиной) пути.

(1) Если он на самом деле важный, то у вас есть резервное железо, в точности такое же (вы об этом позаботились заранее, потому что сервер важный), восстановление из резервной копии проверено на этом железе - успешно восстанавливается;


(2) Если он на самом деле важный, то виртуализируйте его. Тогда всё становится на порядок проще в аспекте вашего вопроса - вы имеете какое угодно резервное железо с заранее поднятым на нём гипервизором (выбор гипервизора на ваш вкус), а виртуальной машине фиолетово на железо, если только не требуется пробрасывать в неё какой-нибудь контроллер, видеокарту и т.п., но это экзотические ситуации.

Раздавать /28 подсеть на все устройства не надо и она нужна лишь для связи между офисам. В самих же офисах делаете свои подсети необходимого размера с любыми адресами, главное чтобы они не пересекались между собой и выделенной вам провайдером подсетью. Например, резервируете 10.2.0.0/16, 10.3.0.0/16 и 10.4.0.0/16 для офиса 1–3 соответственно.

Далее на пограничном маршрутизаторе в каждом офисе настраиваете:

1. LAN-порт на обслуживание локальной подсети.
   
2. WAN-порт для L3VPN, выделяя один IP-адрес на устройство (офис). Например, 172.16.0.2, 172.16.0.3 и 172.16.0.4 для офиса 1–3 соответственно.
   
3. WAN-порт для доступа в интернет если это необходимо.
   
4. Маршруты для доступа к другим офисам через L3VPN. Для офиса 1 будет примерно так:
   

   Destination     Gateway
   10.3.0.0/16     172.16.0.3
   10.4.0.0/16     172.16.0.4

   
   
5. Для трафика между локальными подсетями отключаете NAT, если по умолчанию на вашем железе он включён.
   
6. Соответствующим образом настраиваем файрволл (если есть), чтобы входящий трафик из других офисов не блокировался.
   
7. Опционально для параноиков. Поднимаем свой VPN между офисами, чтобы недобросовестный провайдер не мог смотреть трафик.
   

не равнозначны :)
/proc/sys/net/ipv4/ip_forward - псевдофайл, напрямую меняющий параметр внутри ядра линукса.
т.е. запись в файл сразу меняет поведение драйвера.

/etc/sysctl.conf - это файл настроек для специальной утилиты sysctl, который используется для установления параметров ядра системы при загрузке.
параметры из /etc/sysctl.conf в ядро попадают только при запуске sysctl.
обычно при загрузке система разок запускается sysctl для установки параметров ядра.

можно. подключайтесь. в чем сложность то?

Тут есть 2 варианта - если испльзуется NAT в виртуалбоксе, то просто пробросьте нужные порты в интерфейсе Бокса.
будете подключаться на IP хоста + порт
Если хотите в 1 сеть с роутером их вывести используйте тип сети "мост". Виртуалки получат настройки от того же роутера что и хост

либо привязка на роутере в dhcp сервере, либо на линукс убрать dhcp клиент и прописать статику