Идем в настройки каждого роутера, отключаем DHCP, указываем роутерам адреса на LAN интерфейсах (они должны быть разные, но из одной подсети) Например первый роутер LAN 192.168.0.1, второй роутер LAN 192.168.0.2.
Включаем LAN порты обеих роутеров в один свитч, туда же включаем нужные компьютеры.
На каждом компьютере вручную прописываем IP адреса из этой же подсети, в качестве шлюза указываем IP адрес нужного роутера.