В филиалах прописываете маршрут к офису через VPN.
В офисе прописываете маршруты к каждому филиалу через роутер филиала, подключающийся по VPN.
Для VPN выделяете отдельную сеть, не пересекающуюся с сетями офиса/филиала
Ну и наверное не помешает masquerade на стороне филиалов из VPN, ибо виндовый файрвол может банить все подключения из других сетей
