Strabbo

Перенес с коментов в ответы.

думаю sonic позволит использовать маркировку соединений и раскидывание их по разным таблицам маршрутизации, и в целом фильтрацию L4 уровня, то позволит ли такое IOS?

В NX-OS можно маркировать траффик и раскидывать их в нужные интерфейсы не используя таблицу маршрутизации (PBR), но вот я сомневаюсь, что можно легко раскидвать траффик в разные таблицы маршрутизации без костылей. Вот с костылями это возможно (Например сделать локальный луп на портах и с помощью этих портов соеденять несколько таблиц маршрутизаций, или же программный vrf leak). Фильтрация на L4 работает.

Возможно ли на ios фильтровать соединения одного L2 домена, при этом на L4 уровне?

Возможно, есть Vlan access map, который позволяет сделать ACL по мак адрессам или по IP и фильтровать траффик до того как он дойдет до шлюза.

Умеет ли ios в d/snat?

По документам умеет, но очень много лимитов. Вообще я бы не делал NAT на свичах, даже если производитель говорит, что всё работает. Ну не научились они его нормально делать, сделали кое как для галочки и всё. Единственный раз был свидетелем dst nat на catalyst 9k свичах, после долгих отговорок клиент всё-таки решил сделать этот нат, было 4 свича по 2 штуки в стеке, на обоих сделали нат и через 2 недели high cpu, packet loss. Пока не выключили нат проблема не ушла
.
тут инфа на нексус 5к нат

Что будет лучше для резюме?

Ну если это резюме для сетевика, то на одном свиче далеко не уедешь. Я думаю, что для резюме достаточно будет самой технологии, а вот делали вы ее на cisco/sonic/arista/huawei/juniper уже не имеет разницы, потому что работают они все одинаково, переделать конфиг одного вендора на другой со всеми тестами можно за несколько дней, максимум неделя.

Или существуют коммутаторы лучше предложенных мною, на Б/У рынке в бюджете до 100к? В целом, что будет лучше для домашней лаболатории?

Думаю что вы потратите больше чем 100к, так как QSFP стоят побольше обычных SFP+, не совсем плохие наверное штука от 4-5к, DAC будет дешевле, а AOC дороже.

P.S. Я тоже любитель домашних лаб, начинах с покупи железок, тоже брал по 1, но как только начал глубоко изучать технологии, понял что например 1 свича не хватит, в большинстве случаях надо 4 например, а это уже слишком дорого :) после этого вся моя Network Lab переехала в виртуализацию.

Как получить полную скорость от cisco 2921?

С вашим конфигом никак. У вас даже скорость в нормальном режиме работы (IMIX) будет меньше, чем на спидтесте.
Можно выключить НАТ и тогда скорее всего вы получите 1G.
Посмотрите этот документ, там есть тесты со скоростью с разными конфигурациями

ПДФ

Скорее всего из-за неправильной маршрутизации.
У вас на втором роутере
ip route 0.0.0.0 0.0.0.0 192.168.0.2
ip route 0.0.0.0 0.0.0.0 192.168.20.2
это маршруты по умлочанию к первому и третьему ротуеру. С таким конфигом пакеты будут идти то к первому то к третьему роутеру. Когда вы выключаете третий роутер то ip route 0.0.0.0 0.0.0.0 192.168.20.2 эта строчка перестаёт работать и вё остальное начинает работать.
Решение:
1. убрать маршрут по умолчанию и прописать ститческие маршруты в зависимости от тех сетей, которые имеете.
2. убрать маршрут по умолчанию и настроить динамическуу маршрутизацию, остальное она всё сделат за вас.

пропробуйте решить проблему сами, если не получится пишите

В таком случае, я думаю, что cisco вам не поможет. Если обе виртуалки находятся в одной сети и на одном сервере, то трафик между ними не выйдет за пределы сетевой карты.