Как настроить отказоустойчивый web-service в 2х датацентрах?

Question

[mazanko]

Добрый день.
Есть задача организации отказоустойчивого web-server'a.
Располагаться web-server'a в 2х разных датацентрах, которые соеденины друг c другом VPN тунелем.
Что планируется использовать:
1. DNS Roundrobin. 2 А записи указывают на один домен.
1.1. TTL записей 1 минута.
2. NginX в каждом из датацентров, как reversproxy. Каждому из них присовена своя А запись.
3. Tomcat выполняет роль application server.

Проблема, которая наблюдается у пользователей во время тестирования:
После отключения одного из Nginx'ов у части пользователей перестает быть доступен данный домен.
Вопросы:
1. Каким образом браузер работает с 2мя A записями?
2. Каким образом сделать так, чтобы браузер при недоступности одного из адресов обращался на другой, без принудительного обновления страницы пользователем?

Answer 1

[Влад Животнев]

> 2
Поднимаете 2 NS-сервера (на каждом из фронтов), каждый из которых отдаёт одну А-запись, смотрящую "в себя" (в ip текущего фронта).

При падении веб-сервера тушите dns-сервер тоже.

Процентов 5% пользователей всё равно отвалится (те, у кого TTL в кеше игнорится), но в отличии от тупого RR, здесь всё же какая-то отказоустойчивость есть (ns-сервера перебираются до получения хоть какого-то ответа).

> 1. Каким образом браузер работает с 2мя A записями?
Большинство браузеров "берет" первую попавшуюся А-запись и работает с ней, как будто она одна.
Браузеры поумнее выбирают следующую А-запись, если с сервером из первой записи не получилось установить tcp-соединение (но всякие 502/444/etc они честно отобразят с первой записи).

Comments

[mazanko]

>2 Решение с 2мя или более NS рассматривалось, было решено отказаться(подозреваю что вернемся в случае отсутствия иных вариантов).
>1 Какие именно браузеры? В Гугле пробовал не работает. Если есть точная информация от разрабов,и Вы знаете где, то буду благодарен если поделитесь.

[Влад Животнев]

> в случае отсутствия иных вариантов
С DNS других решений нет, дальше нужно смотреть на anycast IP-адрес (ну или просто переключаемый между ДЦ адрес, как failover в hetzner).

> акие именно браузеры?
Например, firefox под убунтой. Хромиум так под убунтой не умеет (по крайней мере год назад не умел), а с остальными мне было лень играться.

[mazanko]

Влад Животнев:
А не в курсе, почему браузеры не обращаются к дургим адресам после таймаута, т.е. с чем связано решение сделать именно таким?
Chrome/Firefox под федорой тоже так не умеет.

[Влад Животнев]

mazanko: связано с тем, что roundrobin по RFC обязан работать как "получили ряд записей одного уровня, выбрали одну из них, работаем с ней".

Это потом уже некоторые разработчики стали считать себя умнее RFC и других стандартов.

Answer 2

[Александр Джуринский]

Вам не хватает просто VRRP между 2 серверами, чтобы при недоступности одного из серверов, его IP адрес брал себе второй сервер. В этом случае, сайт будет доступен по 2 A записям.

К сожалению, да же последний Chrome, кеширует только первый попавшийся IP адрес из полученных от DNS. И в случае, если IP адрес станет недоступен, браузер не делает повторный резолв для получения других IP адресов. По этой причине и нужно перебрасывать IP на второй сервер.

TTL в одну минуту это очень сильно. Нагрузка на NS серверы будет чрезмерная. С рабочим VRRP, такой TTL вам не понадобится.

Подобная услуга VRRP между дата-центрами имеется, к примеру, у Selectel

Comments

[mazanko]

Спасибо за ответ, но в вопросе я говорил о том, что сервера в разных датацентрах и пулы у этих ДЦ разные.

Вариант с VRRP (keepalived) был рассмотрен в первую очередь.

[Александр Джуринский]

С серверами в разных дц и без VRRP, сделать постоянно доступный ресурс достаточно проблемно.

Попробуйте, в таком случае посмотреть в сторону Failover IP на основе DNS от Zilore. К сожалению, сервисом не пользовался, но заявленные возможности довольно интересны.

Answer 3

[spotifi]

https://habrahabr.ru/company/ivi/blog/237349/
Вот эти ребята утверждают, что с балансировкой на DNS все грустно.
И предлагают anycast.