Как получать сообщения из темы пачками Kafka?

Здравствуйте, мне нужно писать все логи API в ClickHouse, но туда их нужна слать пачками, поэтому я хочу сначала логи собирать в Kafka, а оттуда из тебя забирать пачками раз в минуту и лежит уже в ClickHouse.
Подскажите как из темы брать сообщения пачками и после того как взял, удалять эти сообщения?
Работать с Kafka буду через NodeJs
  • Вопрос задан
  • 153 просмотра
Решения вопроса 1
REZ1DENT3
@REZ1DENT3
web-developer
В Clickhouse можно настроить интеграцию с kafka.
https://clickhouse.tech/docs/en/engines/table-engi...

Clickhouse сам будет забирать данные из кафки и записывать их.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Яндекс Москва
от 100 000 до 300 000 ₽
Яндекс Санкт-Петербург
от 100 000 до 300 000 ₽
от 120 000 до 160 000 ₽