С#: Импорт большого csv-файла в БД SQLite. Как это сделать?

Question

[Samyrro054]

Подскажите хороший способ для миграции больших данных (1 млн. строк, 12 столбцов) из csv-файла в базу данных SQLite (не прибегая к итерациям в цикле, медленно и неэффективно).

Answer 1

[Владимир Коротенко]

https://www.bricelam.net/2017/07/20/sqlite-bulk-in....

https://stackoverflow.com/questions/364017/faster-...
Установите pragmas

synchronous = OFF + locking_mode = EXCLUSIVE + journal_mode = OFF

И используйте пакетную вставку по 50 000 элементов

Comments

[Samyrro054]

Первая ссылка помогла, использовал транзакции, загрузка очень быстрая, буду очень благодарен, если подскажите, как реализовать пакетную вставку по 50к строк

[Владимир Коротенко]

Samyrro054, begin transaction commit, между ними 50000 инсертов. Ещё посмотрите на конструкцию .import по 2 ссылке есть описание. По идее это самый быстрый метод

Answer 2

[Сергей Карбивничий]

Попробуйте консольную утилиту sqlite(Gui могут виснуть):

sqlite> create table mytable(a, b);
sqlite> .mode csv
sqlite> .import myfile.csv mytable