Как правильно взаимодействовать с БД при многопоточности?

Question

[dake1231]

Здравствуйте! У меня есть воркер на питоне,который берет из БД данные и далее запускает поток с загрузчиком. Изначально в БД статус "в очереди", после того как воркер подхавтил статус становится "в работе", далее отдельным потоком идет загрузка, после окончания загрузки статус должен быть "готово", вот тут проблема, возникает ошибка

_mysql_exceptions.ProgrammingError: (2014, "Commands out of sync; you can't run this command now")

или вот как то так
2013, "Lost connection"
Там есть класс который работает с БД, в класс который работает в потоке передаю экземпляр этого класса

Answer 1

[Руслан .]

Про суть ошибки написано тут https://habrahabr.ru/post/21326/ или тут www.mysql.ru/docs/man/Commands_out_of_sync.html

Не ясно как реализован ваш класс доступа к БД. Но если все воркеры идут через один общий коннект, то тогда по ссылкам указано что происходит. По хорошему каждый воркер должен открывать свой коннект к БД.

Comments

[dake1231]

Вот собственно мой класс который работает с БД

import _mysql


class MySql:

    def __init__(self):
        self.db = _mysql.connect(host="localhost", user="root", passwd="", db="cloner")

    def query(self, sql):
        self.db.query(sql)
        return self.db.store_result()

    def getItem(self):
        getProjectQuery = self.query("SELECT * FROM projects WHERE status=0 LIMIT 1")
        row = getProjectQuery.fetch_row(how=1)
        return row

    def setItemProcess(self, id):
        projectStatusProcess = self.query("UPDATE projects SET status=1 WHERE id=" + id)
        return projectStatusProcess

    def setItemDone(self, path, id):
        projectStatusDone = self.query("UPDATE projects SET status=2, project_path='" + path + "' WHERE id=" + id)
        return projectStatusDone

Вот так я вытаскиваю данные из "очереди"

if __name__ == "__main__":

    mysql = database.MySql()
    while True:
        row = mysql.getItem()

        if len(row) > 0:
            row = row[0]
            projectStatusUpdateQuery = mysql.setItemProcess(row['id'])
            project_url = row["project_url"].decode('utf8')
            project_name = row["project_name"].decode('utf8')
            user_id = row["user_id"]
            project_id = row["id"]
            crawl = crawler.Crawler(
                url=project_url,
                project_name=project_name,
                user_id=user_id,
                project_id=project_id)

            crawl.start()
        else:
            continue

Далее в классе crawler в методе инит создаю экземпляр класса MySql, ошибка

_mysql_exceptions.OperationalError: (2013, 'Lost connection to MySQL server during query')

[Руслан .]

Для такого варианта использования у MySQL есть pooling соединений, гарантируется что его использование потокобезопасно.
Как использовать можно почитать тут:
https://dev.mysql.com/doc/connector-python/en/conn...

Что касается модуля _mysql , его напрямую не рекомендуют использовать, для него есть обертка MySQLdb:

"""
_mysql implements the mysql C api directly.
Actually recommended to use MySQLdb which is a wrapper over _mysql module
"""