не совсем понимаю пока что принцип vpn (видимо только он мне и нужен)
Да.
я не знаю что это и поможет ли
Нет.
какие роутеры в остальных офисах я пока не знаю
Какие?
у меня есть ubuntu сервер в этой же сети с роутером и софтом, может это как то поможет
Может, но не факт.
Вам нужно оргазиновать именно VPN. Это будет выглядеть, как будто роутер удалённого филиала воткнут в роутер вашего офиса.
В вашем случае удобно настроить его на роутерах.
Создаёте на главном роутере VPN Server, настраиваете. У вас должен быть белый внешний IP для этого.
На филиалах настраиваете подсети (192.168.10X.X, например, тупо на роутерах в разделе LAN ставите каждому филиалу свою подсеть), там же настраиваете VPN-клиенты.
Советую начать с GRE, он самый простой.
Это только набросок, без данных о том, какие у вас роутеры, точнее не скажешь. Можно и на линуксовом сервере поднять OpenVPN, высунуть нужные порты наружу, но это сложнее для вас будет).