А как их собирать на сервере? Мне прилетает набор SQL INSERT в виде текста. Есть какие-то инструменты?
У меня еще проблема в том, что в данных потенциально могут быть дубликаты (1 на 10000 запросов). Если вставка падает из-за дубликата, я выполняю удаление дубликатов и повторяю операцию вставки.
"выборка с условием по колонке партицирования (чтобы сканировать меньше данных)"
Тоесть я четко должен понимать обращаясь к партишену какие именно данные я оттуда хочу получить? Что типа в нем срез данных хранится ТОЛЬКО за 2015-2016 годы?
Akina, просто без индексов удаление старых данных очень долго занимает. btree как я почитал будут не быстрее.
У меня логика такая, что если что-то не закоммитилось и упало с исключением, то в БД есть дубликат который нужно удалить и повторить вставку.
Я не могу вообще без индексов т.к. иногда могут прилететь новые данные со старом MyID. В итоге удаление занимает очень много. Поэтому использую hash индекс.
Да ssd
У меня еще проблема в том, что в данных потенциально могут быть дубликаты (1 на 10000 запросов). Если вставка падает из-за дубликата, я выполняю удаление дубликатов и повторяю операцию вставки.