Какие лучшие примеры многопоточной работы Python скрипта с базой sqlite?

Question

[mad_god]

Нужен пример, показывающий, как правильно обрабатывать ошибки, если транзакция была не успешна.
Будет ли прирост от использования нескольких потоков в работе с базой sqlite?
Если я запускаю один скрипт, то обработка длится 101 минуту, с двумя скриптами - 62 минуты.
Четыре скрипта работают 52 минуты, но если несколько скриптов работают без обработки ошибок, то база получается меньшего размера, не все данные успешно добавляются.

Чувствую, что делаю неправильно, поэтому спрашиваю и одновременно гуглю. Может, имеет смысл лочить базу на момент записи и ставить цикл, который дожидается анлока?
Нужен такой пример, который используется, например, в открытом проекте, как оно по-человечески делается.

Comments

[angru]

Вы уверенны, что у вас затык именно в бд, откуда вы берете данные для базы? Если вытягиваете из интернета, то это может быть большей проблемой, чем запись в sqlite.

[mad_god]

angru: Уверен, я специально разделил скачивание данных из интернета и их обработку. Сначала скачал, потом обрабатываю. Конечно, я пока не уверен, что из этого быстрее, получить файл из интернета или считать из локального файла, но когда уже вся информация скачана, как-то удобнее работать в оффлайне. Нужно провести тест, скачать данные без сохранения на диск и измерить время. Правда, с сохранением скачка 100 000 страниц в 30 потоков выполняется полчаса, явно, без сброса на диск будет меньше. Вот только обработку в 30 потоков я пока не научился делать, вот поэтому и спрашиваю.

[angru]

mad_god: ну с диска явно быстрее должно быть, чем из сети, если только речь не идет о каком-то дата-центре. Можно еще проверить сколько времени обрабатываются данные, без сохранения в базу. Если все же проблема именно в записи в БД - можно попробовать многопоточную запись, многие пишут, что sqlite не ее поддерживает, но в документации написано, что можно. Если и это не поможет - попробуйте сменить бд на PostgreSQL, MySQL(MariaDB). Еще можно попробовать использовать какой-нибудь ORM, тогда вам будет очень просто переключаться между разными субд, SQLAlchemy, Peewee, Pony.

[mad_god]

angru: Спасибо. Я ещё пробовал на RAM-диск загнать, конечно, гораздо быстрее получается, но файлов у меня 10 ГБ, а RAM-диск всего 1ГБ, если он будет быстро обрабатываться, то его снова нужно будет наполнять, то на то и выйдет. А насчёт многопоточности - не пойму пока, как это на python будет выглядеть. А то я просто несколько скриптов запускаю, а база получается меньше, когда несколько скриптов, чем когда одним обрабатывается. И ошибки никакие не возникают, просто инфа не пишется.

Answer 1

[Philipp]

Может стоит использовать MariaDB? Или индексы создать. У вас явные проблемы с блокировками.

#!/usr/bin/python
# -*- coding: utf-8 -*-

import sqlite3 as lite
import sys

try:
    con = lite.connect('test.db')

    cur = con.cursor()  

    cur.executescript("""
        DROP TABLE IF EXISTS Cars;
        CREATE TABLE Cars(Id INT, Name TEXT, Price INT);
        INSERT INTO Cars VALUES(1,'Audi',52642);
        INSERT INTO Cars VALUES(2,'Mercedes',57127);
        INSERT INTO Cars VALUES(3,'Skoda',9000);
        INSERT INTO Cars VALUES(4,'Volvo',29000);
        INSERT INTO Cars VALUES(5,'Bentley',350000);
        INSERT INTO Cars VALUES(6,'Citroen',21000);
        INSERT INTO Cars VALUES(7,'Hummer',41400);
        INSERT INTO Cars VALUES(8,'Volkswagen',21600);
        """)

    con.commit()
    
except lite.Error, e:
    
    if con:
        con.rollback()
        
    print "Error %s:" % e.args[0]
    sys.exit(1)
    
finally:
    
    if con:
        con.close()

Взял отсюда zetcode.com/db/sqlitepythontutorial

Comments

[mad_god]

я ещё не очень разобрался с индексами. Пока я не наполню базу и не буду из неё данные выбирать, мне же не нужны пока индексы? У меня там есть поле, которое по идее должно содержать уникальное значение, но в процессе наполнения записи могут дублироваться и потом, при удалении, чувствую, вылезут проблемы с индексами. К тому же, в sqlite есть скрытое поле rowid, которое якобы (я так понял) является индексом.
К другим базам я потом перейду, сначала бы эту хотелось бы наполнить, а потом сравнивать производительность с остальными базами.

[Philipp]

mad_god: При наполнении индексы не нужны, их перестроение будет негативно влиять на производительность. В целом про производительность я вам и так скажу - sqlite - медленная, как черепаха. Как только записей за 50к, она очень тормозит. Берите Postgres, MariaDB - это будет работать быстро. Если нужно очень быстро, то смотрите в сторону NoSQL.

[mad_god]

Philipp T: Что посоветуете? Redis, Mongo, Memcached? Если база не будет вмещаться в оперативной памяти, всё равно операции с диском будут всю производительность съедать?

[Philipp]

mad_god: все зависит от того, какую задачу вы собираетесь решать. Redis хорошо походит для хранения сессий и т.п. Есть сохранения на диск, но все же дизайн у него заточен на кэширование + подписки. Memcached - только кэширование, дизайн вашего приложения должен учитывать возможную потерю данных в этом хранилище. MongoDB подойдет в случае хранения данных ввиде объектов.
Не зная задачи и требований, сложно сказать, что будет лучше.