Как добавлять в clickhouse только уникальные primary key?

Question

[rst630]

Делаю выгрузку из mysql в clickhouse при повторной выгрузке хочу что бы вставлялись только строки с уникальными PK, (как insert ignore) но кликхаус похоже так не умеет.

Правильно ли я понимаю что для реализации этого мне нужно перед вставкой проверять наличие PK (where id in(1,2,3...)) и самому отфильтровывать не уникальные данные? Или все же есть у кликхауса другой метод?

Answer 1

[WinPooh32]

Если используется MergeTree в качестве движка таблицы, то устранить дубликаты можно удалением через ALTER (блокирует весь кластер), либо только фильтрация во время запроса.

Для симуляции мутабельности есть VersionedCollapsingMergeTree, но тут также есть нюансы - дубликаты удаляются не сразу и все равно требуется фильтрация во время запроса.

Просто для удаления дубликатов можно использовать CollapsingMergeTree, но выбор строки недетрменирован и тоже нужна фильтрация, т.к. удаление происходит асинхронно в фоновом режиме.

Comments

[rst630]

Почитал документацию - видимо ReplacingMergeTree и последующее optimize table xxx final мне больше подходят - вообще не проверяю данные перед вставкой - вставляю все, а потом оно удаляет дубликаты по ключу order by (id,xxxxxxxxxxxx)

В каких случаях использовать versioned не очень понял.

Получается мне достаточно в запросах добавлять group by id и получать уникальные результаты, и лишь периодически после вставок запускать optimize final или оно там даже само когда-нибудь запустится.