Как быстро перенести данные с одной бд в другую с обработкой?

Question

[vhsporno]

Есть оракловская бд. В ней в таблице лежит 1 миллион записей. Мне нужно их обработать и записать в другую базу данных. Из одной старой таблицы пишется в три новых. Если простым перебором по записи обрабатывать то получится около 5-6 часов.

Answer 1

[Вадим Шаталов]

Как вариант pySpark - удобно и быстро для всяких ETL
Или Dask

Answer 2

[alternativshik]

1. 5-6 часов вообще не очень-то и долго - на ночь запустил и спи.
2. Сделай по процессу на каждое ядро процессора, если там обработка данных, а не IO операции...

Answer 3

[Александр]

А если это реализовать на уровне запроса?

INSERT INTO new_db.new_table (field1,field2) 
SELECT data1 AS field1, data2+data3 AS field2 FROM old_db.old_table;

Если обе базы на одном сервере.
Время затраты как при копировании файлов так как данные сразу получаются и сразу пишутся на диск.