Как импортировать большой объем данных в ClickHouse?
Пытаюсь перевести проект на ClickHouse. Установил, настроил. Все хорошо.
Теперь встала задача перенести существующую аналитику. Сделал дамп в csv, получилось около 12ГБ (30млн записей).
В таблицу, в которой нет PARTITION BY такой дамп вставляется быстро. А в таблицу с PARTITION BY его вставить невозможно.
Сыпятся ошибки с max_partitions_per_insert_block, max_memory_usage, max_parts_in_total и тп.
Как импортировать данные?
Вероятно результат выражения PARTITION BY слишком редко повторяется в строках дампа. Можно попробовать выбрать другое, более крупное, например недели или месяцы вместо дней, а также отсортировать дамп по этому значению перед вставкой.
Средний
