Kafka на двух Data-центрах?

Question

[leks15_05]

Столкнулся с проблемой. Есть два кластера kafka в двух дата центрах. Одна основная, вторая резервная и mirror maker 2 посередине, основная реплицируется в резервную. На входе есть HAProxy, в случае отключения основного ЦОДа, ручками меняем конфиг HAProxy, клиенты переключаются на резервный кластер и все работает хорошо до тех пор, пока не добавляем в ACLs kafka фильтрацию по адресам. В таком случае все ломается, т.к. первый пакет приходит не от клиента, а от балансировщика и не проходит авторизацию, даже если добавить адрес баланщировщика в allow-host. В DSR HAProxy не умеет. Как решаете такую проблему?

Comments

[Drno]

Меня балансировщик, который умеет нужное

Либо менять ПО, которое умеет в поддержу реверс-прокси

[mayton2019]

Непонятно зачем в стек технологий Kafka затащили ha-proxy.
В конфигурации producer есть свойство bootstrap servers. Попробуйте туда указать основной и резервный.

private static void process(CommandLine line) {
        logger.info("Start");

        Properties properties = new Properties();
        properties.put("bootstrap.servers", "localhost:9092");