не должно быть - второй провайдер (мой внешний адрес) должен быть недоступен, поскольку роутер не знает (не должен знать), как правильно отвечать на запросы на второй адрес.
С какой это стати он не должен? У него есть 0.0.0.0/0 - этого вполне достаточно, чтоб отправить ответ на запрос с ЛЮБОГО адреса в интернете. Маршрутизация -- она, знаете ли, не учитывает (без особой магии вроде PBR или VRF) Source-адреса. Все, что ей надо - это адрес назначения.
Другой вопрос, что все толковые провайдеры не позволяют своим клиентам в Source писать что попало вместо выданного клиенту адресу, а ваш позволяет, и потому приходит запрос на белый адрес второго провайдера, а ответ улетает с соурсом второго но -- через первого. Никакой магии.