Эм, ну тут несколько вариантов, самый простой выставить второй, как и первый и на уровне Dns настроить rr. Но лучше поставить перед haproxy, WAP, waf. На уровне дага нужно еще прописать каталоги каждому серверу на общее имя, например mail.company.ru все. Rr ставите маленький тол и будет вам счастье. Почтовый трафик вообще лучше через промежуточный relay гонять, postfix подходит идеально.