Как быстро трансформировать данные с таблицы А из 500М+ строк в агрегированную таблицу Б?
В целях оптимизации доступа к определенным запросам было решено создать агрегированную таблицу.
Необходимо разово выполнить перенос данных в агрегированную таблицу с обработкой построчно.
Если писать программу с логикой за пределами СУБД, по-моему, будет работать долго из-за трафика туда-обратно.
Не смог нагуглить подходящего ответа.
Подскажите оптимальный способ.
Если логика агрегирования простая и умещается в один запрос безо всяких курсоров, то лучше сделать sql скриптом SQL в рамках одной транзакции.
Если сложнее и придется использовать курсор, но не больше одного, то так же в sql скрипт. (возможно обложится индексами)
Во всех остальных случаях вынести в приложение с широкими выборками.
Сначала написал хранимую процедуру с использованием курсора (за основу взят код отсюда), которая выполняет вставку-обновление (upsert), которая работала быстро. Но затем таки ради большего контроля над работой обновления написал программу. чтобы была возможность прервать процесс в случае перегрузки и продолжить с того же места.
Средний
