Такое можно сделать DNS, создав три A записи. Сервера будут отдаваться случайно.
Но важно еще проверять доступность всех трех и если какой-то упал, то нужно удалять соответствующую A запись до восстановления его работы.
Иначе на нерабочий сервер будут идти и отваливаться пользователи.