Где хранить данные перед отправкой в Clickhouse?

Question

[JeanPaulBelmondo]

С кликхаусом ещё только разбираюсь, знакомлюсь.

Но насколько я уже понял, туда не нужно слать данные при каждом запросе. Нужно отсылать пачка по 1000 записей например.

Вопрос, где хранить данные перед их отправкой в Clickhouse?
У меня на ум приходят следующие варианты:
1) Кэш;
2) БД (MySQL, PostgreSQL);
3) Просто файл;
И несколько раз в день, по крону отправлять их в Clickhouse.

Но это всего лишь мои мысли и, возможно, бредовые. Как правильно хранить данные перед отправкой?

Comments

[mayton2019]

Непонятно как мы можем оценить размер одной записи. Без этого сложно.

[JeanPaulBelmondo]

mayton2019, нет никакой записи, я просто тестирую кликхаус
условно

Click::create([
        'session_id' => Str::random(),
        'api_key' => Str::random(),
        'q' => Str::random(),
        'product_id' => random_int(1, 999),
        'date' => Carbon::now(),
    ]);

[mayton2019]

Храни в оперативной памяти до 100 000 штук. Вот они пишут

• Add data in fairly large batches, such as 100,000 rows at a time.
  
• Group data by a partition key before uploading it to ClickHouse.
  

https://clickhouse.com/docs/en/sql-reference/state...

[Vitsliputsli]

mayton2019,

Храни в оперативной памяти до 100 000 штук.

Упало приложение - потеряли все данные.

Answer 1

[Александр]

В очереди. Kafka, rebbit. Это стандарт хранения, хотя если данных не много и не нужен доп функционал очередей, можно писать в файл и избавиться от лишней зависимости, а потом по крону csv файл заливать в клик (можно прям на баше)

Answer 2

[Vitsliputsli]

Как удобно, так и храните. Брокер сообщений предлагают, потому что, это универсальный вариант, гарантирующий доставку (если, конечно, не в памяти он будет хранить).
Если данные уже лежат в классический СУБД, то есть резон там же организовать очередь и забирать из нее, не вводя дополнительный инструмент.
Т.к. инсертим батчами, то разумеется нужно делать инсерт из файла, это будет эффективнее. Т.е. готовите файл, и через какой-либо промежуток времени заливаете его. И, разумеется, только после заливки помечаете записи как обработанные.
Наверное, можно писать даже прямо в файл для заливки, если архитектура позволяет, главное проработать момент, когда начинаем писать в новый файл, чтобы записи не попали в старый, когда началась процедура заливки в ClickHouse.
Но, при этом остается момент: ваш заливщик умер, когда уже получил подтверждение от Clickhouse, что все записалось, но не успел зафиксировать это в очереди. Соответственно это нужно проверять.
Если у вас не только insert, но и update, то нужно усложнять архитектуру (заодно и решится выше указанная проблема), нужно удалять предыдущие записи для обновляемых.

Answer 3

[Roman]

Смотрели доклад Алексея Миловидова?
Эффективное использование ClickHouse
Там обзор вариантов вставки, их плюсы и минусы.
Мы пишем в файлы