Артём Пешков

Вот неплохо всё расписано.
habrahabr.ru/post/104621/

а еще есть вариант — сменить хостера :) Понятно, что это дополнительно ко всему остальному, но описанное вами поведение " постоянно случаются форс-мажоры: то в ДЦ электричество выключат, то админ ногой шнур выдернул, то пожар" — это какой-то детский сад, нельзя с такими делать бизнес.

Может быть есть возможность на клиентском сайте выбирать какой из ваших серверов жив и стучаться туда?

ucarp, keepalived и т.д. вам помогут. Виртуальный ip'шник будет бегать между двумя серверами, а базу данных можете реплицировать стандартными средствами.

Ещё как вариант можно рассмотреть кеширование сайта через Akamai или CloudFrount. Пока не истёк TTL кеша, сайт будет доступен, даже когда сервер лежит. Бонусом получите ощутимое снижение нагрузки.

Взрослый мир решает эти проблемы при помощи BGP и анонсировании одного IP из двух точек сразу. Соответственно, при падении одной из точек — анонсы оттуда перестают прилетать.

В вашем случае самым простым способом было бы действительно взять еще один сервер, продублировать все, а затем на третьем сервере сделать балансировщик нагрузки. Так же существует возможность балансировщик задать на уровне DNS серверов. Встречал DSN хостинги где такая возможность существует. Тогда по одному домену запросы будут рассылаться на разные IP адреса серверов. Этот вариант очень удобен и быстр в реализации. Например Амазон предоставляет подобные сервисы.

Ищите по слову балансировщик.