Как получать сообщения из темы пачками Kafka?

Question

[jenya7771]

нужно писать все логи API в ClickHouse, но туда их нужно слать пачками, поэтому я хочу сначала логи собирать в Kafka, а оттуда из тебя забирать пачками раз в минуту и лежит уже в ClickHouse.
Подскажите как из темы брать сообщения пачками и после того как взял, удалять эти сообщения?
Работать с Kafka буду через NodeJs

Comments

[d'Ivan]

и после того как взял, удалять эти сообщения?

зачем это понадобилось?
Почитайте о kafka topic retention и kafka topic compaction.

[jenya7771]

Роман Мирр, Спасибо!

Answer 1

[Максим Бабичев]

В Clickhouse можно настроить интеграцию с kafka.
https://clickhouse.tech/docs/en/engines/table-engi...

Clickhouse сам будет забирать данные из кафки и записывать их.

Comments

[jenya7771]

Спасибо! Я уже успел сделать на основе Redis, думаю так и оставить