Можно ли использовать kafka для получения данных от сторонних приложений?

Question

[gsaw]

Стоит задача с получением данных от сторонних приложений. Раньше для этого использовался MQ от IBM, но клиенты хотят отказаться от MQSeries. Услышали про kafkу и теперь думают для получения/передачи данных использовать ее.

До сих пор в проекте использовали kafka для общения внутри приложения. Между отдельными микросервисами. Теперь же получается надо будет вывесить кафку наружу. Надо как то сделать защищенное соединение, заниматься настройкой доступа к определенным топикам. До этого ничего такого не было. Каждый имел равный доступ.

Вот и вопрос, стоит ли это делать? Используется ли кафка для общения между различными приложениями?

Спасибо

Comments

[Василий Банников]

Так микросервисы это же и есть разные приложения.
Если не хочешь давать наружу доступ напрямую к кафке - добавь новый сервис, который будет принимать какие-то сообщения по http (или через любой другой транспорт, например через отдельную кафку), и пусть он пересылает сообщения в твою внутреннюю кафку

[paran0id]

В кафке есть и acl, и ssl. Но я бы лучше поставил на входе сервис, получающий сообщения по http и кладущий в кафку. Вроде бы видел готовые.

Answer 1

[Saboteur]

Используется ли кафка для общения между различными приложениями?

Так MQ и Kafka - прямые конкуренты, естественно используется.

А стоит ли это делать - сделайте тестирование.