Нужно настроить High-Availability софт. Такой как
Heartbeat или
Pacemaker. Либо использовать High-Availability технологии, предлагаемые современными гипервизорами (VmWare VSphere, MS HyperV).
Разница в том что HA софт работает на уровне железяк и железяки должны быть настроены абсолютно одинаково. В случае сбоя мигрирует сервис на доступный узел. А в HA технологиях виртуализации вы настраиваете к примеру виртуалку и она работает на гипервизоре. В случае сбоя виртуалка целиком мигрирует на доступный сервер.
Я работал с Heartbeat и Pacemaker. Скажу что Heartbeat конечно костыль еще тот. Поддерживает до двух узлов, не умеет самостоятельно определять сбой ресурса и отрабатывать. Всех этих недостатков лишен Pacemaker. Мега удобная хрень, но документации по ней еще мало, поскольку это leading-edge технология.