Как повысить скорость обработки данных?

Question

[beduin01]

Есть скрипт разбирающий XML и записывающий результаты в БД. XML файлов много. Я решил поднять скорость обработки и стал создавать по 10 потоков для обработки, но когда сравнил с однопоточной версией, то оказалось что разницы практически никакой нет.

Почитал документацию. Я правильно понимаю что из-за GIL приложение на Питоне не может больше одного ядра использовать? Сейчас эту проблему можно как-то обойти?

Answer 1

[Сергей Горностаев]

Решение в лоб - использовать мультипроцессинг. Разумный подход - это проанализировать ваш код, найти в нём узкие места и определить их тип. Я серьёзно сомневаюсь, что разбор XML и запись данных в базу - это CPU-bound задача, ускорение которой возможно через использование дополнительных ядер.

Comments

[Сергей Горностаев]

Pavel Denisov,

он в sqlite пишет

ох, лол )

[beduin01]

Pavel Denisov, В Оракл я пишу, а SQLite тупо хранилище ссылок на файлы.

[Сергей Горностаев]

Pavel Denisov,

а чем разбор XML не CPU-bound?

Стадия собственно разбора документа может быть задачей мизерная по времени на фоне скорости считывания документа с носителя.

[Roman K]

Pavel Denisov, разбор XML — вполне себе CPU-bound, только вот 100 тысяч XMLей распарсить — дело пары минут. Писать код для распараллеливания этого дольше.

[Сергей Горностаев]

Pavel Denisov, вот и я о том же, пусть профилирует. Может затык вообще не в python-коде.

[beduin01]

Pavel Denisov, у меня в SQLite только файлы для обработки писались. Там вопрос был в том, как строки из БД забирать из нескольких потоков одновременно. Проблему я решил используя lock. Скорости от этого я не ждал, просто было не понятно как из нескольких потоков долбиться.

Answer 2

[Denis Melnikov]

Посмотрите в сторону multiprocessing

Answer 3

[asd111]

В Sqlite надо делать все инсерты в одной транзакции иначе будет тормозить. Ещё можно сделать PRAGMA synchronous=OFF https://www.sqlite.org/faq.html#q19

Answer 4

[Дмитрий Шицков]

Из основого приложения читайте строки из sqlite и отдавайте процессам-воркерам на обработку, напр. используя multiprocessing.
Из sqlite читайте строки пачками, чтобы реже к ней обращаться.