На таком уровне нужно балансировать на сетевом уровне (CARP или VRRP и динамический роутинг на основе DNS, или BGP) - это вопервых, и попробуй посмотреть в сторону Haproxy а вот заними можеш nginx-ов понавтыкать