Как эффективнее читать данные из базы?

Question

[Владислав]

Пишем перенос данных из одной БД в другую. Используем pyodbc.
Данных много, таблицы длинные. Решаем с коллегой как лучше читать данные.
1. делать fetchall
2. бежать циклом по курсору
Какой способ чтения быстрее ? надежнее ? экономней по памяти ?

Answer 1

[Dimonchik]

читать очевидно же курсором
вставлять - балком

Answer 2

[d-stream]

Думаю что в первую очередь оптимизировать стоит более тяжелую запись. Тут bulk insert - панацея.

Кстати совсем не исключаю и crasy-вариант вычитывания в текстовый файл в виде блоков sql insert и последующего их выполнения через bulk