А зачем вам VPN ?
Поднимите прокси на ubunte и включите работу через прокси в браузере. Благодаря дополнению FoxyProxy можно гибко настроить что будет ходить через прокси, а что нет и даже через какое если их несколько. (хром и все что в хромиуме не умеет в авторизацию в SOCKS5, я это обошел поставив на винде ccproxy который подключается к прокси.) В Огнелисе всё работает из коробки. Можно и без авторизации настроить, но тогда надо будет настроить ограничение на подключение только с ваших IP, в случае если подключение будет только с вашего VPS у которого IP как я понимаю статичный никаких неудобств не будет.
PS Теперь видно вообще никто не понимает что такое VPN и для чего он нужен. И пихают его куда только можно.