Как лучше перенести одно поле из PostgreSQL в ClickHouse?

Question

[AngreyV]

Есть таблица примерно в миллиард записей в постгрес.
Эта же таблица параллельно пишется в кликхаус, но обнаружили, что забыли добавить туда один из важных столбцов.
И того нам нужно проапдейтить весь миллиард записей в клике, добавив каждой новое поле по условию where id.
Собственно как лучше это сделать?

Answer 1

[Dimonchik]

ну, Постгрес можете из вопроса убрать, вы же понимаете что проблема не в этом

если в Клике у вас не сингл сервер, а кластер то - Вам лучше сюда https://t.me/clickhouse_ru с акцентом о кластере - там бывают веселые рассинхроны

в остальном - классически как и при обычной базе с поправкой на особенности клика

а) новая таблица NEW с полями из нынешней (OLD) + важное поле
б) новая таблица TMP с полями (id, важное поле )
в) INSERT в NEW JOIN OLD+TMP( тут может какую joinget вспомогательную, но если у вас миллиард уникальных ид, увы)

Rename New - Old

все это на сингл сделается в момент, миллиарды не помеха , с поправкой на окно выполнения )) ну - по ID Range всегда можно подкорректоровать

само собой - контролируемо остановить добавление новыз данных

Comments

[AngreyV]

Ещё момент, что постоянно идёт запись в таблицу old новых данных (уже с этим полем)

[Dimonchik]

AngreyV,

само собой - контролируемо остановить добавление новыз данных

откючить / вставить unique с перехлестом / пожертвовать

[AngreyV]

Dimonchik, а с точки зрения памяти шаг В как должен отработать?
Допустим основная таблица 50Гб, временная будет 15Гб.
Кликхаус join таблицы в ram хранит, это же нереально.

[Dimonchik]

попробуйте диапазонами если нереально

хранит всю да не всю - вы зря думаете что там идиоты и не понимают слова 1Tb

https://clickhouse.com/docs/ru/sql-reference/state...

[AngreyV]

Dimonchik, без шансов падает по памяти, хотя лимит RAM 15 GB.
Вот пример запроса:
INSERT INTO new_calls_with_new_column FROM
(SELECT * FROM calls WHERE create_date >= '2023-09-07 00:00:00' AND create_date < '2023-09-08 00:00:00') a
left join
(SELECT id, new_column FROM temp_calls) b USING id
calls весит 100 ГБ, но за день не более 1, temp_calls - 20 ГБ.
Уменьшение диапазона даты ещё сильнее не помогает.
Подскажите, как оптимизировать можно?

[Dimonchik]

AngreyV, да ну, что-то нереальное
как он может веся 1 гб в даты выбирать 20 из колл?

индексы хоть сделали?