Настройте оба роутера на одно имя и пароль, получится что-то вроде mesh'а. Телефон переподключается между такими точками без вопросов. Будет работать так же windows - неизвестно. DHCP сервер должен быть один и доступен одинаково для роутеров, например один из роутеров настроить "прозрачно" как точка доступа(AP). Либо в одном из роутеров настроить резервный канал на второй роутер. Настройки зависят от роутеров.
Windows 10 не умеет быстро переключатся между точками, собственно быстро - никто не переключается, везде есть timeout.
Ну или модем в роутер, как написал Максим, но это не всегда работает(зависит от моделей).