Локальный клиент парсинга XML и обновления SQLite таблицы (C#). Возможно ли оптимизация?

Question

[KrivdaKravdaBum]

Написан клиент обновления таблицы в БД SQLite. Скачивает XML с сервера, парсит и обновляет данные в таблице. XML содержит > 40000 строк (и каждый месяц количество строк увеличивается), такого вида:

<card card="05871" article="0016" count="1" timestamp="1519134555"/>

Встал вопрос об оптимизации данного действия, потому как на обновление таблицы уходит минимум 2 минуты. Изначально написан на C#. Хочу переписать всё на C++. Стоит ли такое делать, будет ли какое-то ускорение?

Comments

[Евгений Шатунов]

KrivdaKravdaBum , на плюсы переводить точно не стоит. А вот в сторону конкурентной работы подумать будет полезно. 40к записей за 2 минуты - там все явно в один поток работает. Время впустую тратится.
Core i7 - 8 ядер - 8 потоков обработки запросов к БД - 8 подключений к БД. Ускорение будет не в 8 раз, но ускорится существенно.
Если 40к записей 2 минуты лопатятся в многопоточном режиме, то это уже неконструктивно использован язык.

[sim3x]

А почему не использовать xpath?

Answer 1

[GavriKos]

Сначала надо попрофилировать, на что конкретно уходит много времени.
Если именно на "обновление таблицы" (тобишь на выполнение SQL-запросов) - то переписывание ничего не даст - надо что то делат ьс базой или с запросами.

Answer 2

[Станислав Макаров]

Встал вопрос об оптимизации данного действия, потому как на обновление таблицы уходит минимум 2 минуты.

Ну это известный прикол что по-умолчанию SQlite делает транзакцию на каждый insert. Запустите транзакцию и закоммитьте её один раз и все строки вставятся за секунду максимум.

Вы начали выдумывать какие-то мегаспособы ускорения, не исследовав корень проблемы. А корень в том, что на транзакцию SQLite создаёт файл отката, и когда таки транзакций 40000, это будет столько же операций пересоздания файла. Это просто пздц какая тяжелая операция для файловой системы, и ни процессор ни многопоточность вообще не при чём. Могли бы догадаться сами, т.к. 40000 небольших записей это вообще не объём.

Решение гуглится за 20 секунд и написано в FAQ по SQLite: www.sqlite.org/faq.html#q19