В общем пытаюсь реализовать такую штуку, когда 1 сайт висит сразу на 2-х интернет провайдерах
А каким образом клиенты будут узнавать, через какого провайдера им лучше открывать сайт? Тут помимо очевидного (настройка отправки ответных пакетов через тот же интерфейс, про это уже написали выше), нужно предусмотреть подсовывание правильных DNS-записей - иначе пользователям может попасться менее выгодный с точки зрения сетевой топологии вариант.
Или вы чисто для отказоустойчивости это делаете? Тогда надо предусмотреть выпиливание одной из А-записей при отказе одного из провайдеров.
Всё очень непросто, короче (с)