Это легко делается на любом популярном дистрибутиве Linux с установленным ipsec-клиентом и фаерволлом, разруливающим маршрутизацию/NAT. Первое, что приходит на ум - strongSWAN + iptables/nftables. Настройка достаточно тривиальна.
Если не известны адреса и порты, используемые программой - засовываете её в отдельный контейнер и перехватываете. Или, если есть такая возможность - назначаете программе для работы отдельный IP-адрес и используете его в качестве фильтра сниффера.
Вы хотите странного. Общепринятый способ направления трафика в VPN-туннель - добавление маршрутов для отдельных подсетей или по умолчанию. Если проблема в том, что впн нужен только для прокси, а рядом с ней ещё какие-то сервисы, которые должны ходить через интернет - вынесите прокси на отдельную виртуалку/контейнер.
Какой смысл вам проверять скорость напрямую, если потом вы всё равно включите обратно роутер? Если он не тянет максимальную провайдерскую скорость - об этом тоже стоит знать, имхо.
Спидтест вполне подойдёт, сильнее заморачиваться особого смысла для домашнего интернета нет.
Никто не прибавляет "857 адресов", это ущербный подход. Выделяют целый диапазон, описывающийся коротко и наглядно с помощью CIDR. В противном случае устанете читать конфиги сетевых железок и ПО.
Стомегабитный линк такими мелочами довольно сложно потревожить. Ну и проявляться это будет, если контакт в розетках совсем не ок, не в уменьшении скорости, а в периодическом пропадании связи, скорее или переключении во что-нибудь типа 10Мбит-полудуплекс и т. п.
Правильно - по стандартным бест-практиксам: ядро, распределение, доступ. Если собираетесь колхозить с шлюзом в виде сервера с двумя сетевыми картами, остальное уже не важно. Единственное, что хочу заметить - вместо четырёх странных свитчей с 10 портам возьмите лучше один нормальный на 48 или два по 24 порта.
Фаерволл в виде циски - для организации предсказуемо себя ведущей (при нормальной настройке) более-менее отказоустойчивой сети, рекомендуется ЗИП или контракт на сервисную поддержку. То же в виде сервера с линуксом - для любителей красноглазия или стеснённых в средствах. Прокси - это вообще уровнем выше, поскольку относится к конкретным протоколам передачи трафика.