Как работать с peewee из нескольких потоков?

Question

[Грам Орсиниум]

Доброго времени суток.

Есть многопоточное приложение, использующее из нескольких потоков peewee. Через некоторое время после запуска вылетает следующее исключение:

peewee.OperationalError: (2006, "MySQL server has gone away (BrokenPipeError(32, 'Broken pipe'))")

В действительности, это, конечно, отваливается PyMySQL, который использует ядро peewee. Исходя из опыта, для работы с PyMySQL помогал threading.Lock:

from threading import Lock
database_locker = Lock()

database_locker.acquire(blocking=True)
pass #работа с БД
database_locker.release()

Вот только в случае peewee это почему-то не работает.
Что думаете? Должен ли помогать threading.Lock, и есть ли другие подходы к решению задачи?

Python 3.4
PyMySQL 0.7.4
peewee 2.8.2

Comments

[sim3x]

зачем тебе использовать много потоков?

[Грам Орсиниум]

sim3x, это чат-бот для telegram, через дополнительные потоки реализуется функционал нотификаций и прочих доп. фишек, которые должны работать "в фоне". Основной же поток блокируется в ожидании запросов от пользователей. Впрочем, всё это несущественно в рамках обсуждаемой задачи. Не будь потоки нужны, их бы не было в стандартной библиотеке.

[Грам Орсиниум]

sim3x, и да, я знаю про GIL) Тут потоки не для скорости.

[sim3x]

Грам Орсиниум: то что у нас есть копчик, еще не значит, что его нужно использовать

Отправляй задачи по нотификации в очередь, а другой программой их выбирай из очереди и исполняй

[Грам Орсиниум]

sim3x, это ORM. SQL-запросы ещё можно отправлять, а вот с ORM это затруднительно. Да, можно накостылить, да даже сделать какой-нибудь метакласс для peewee. Но это уже какой-то Франкенштейн.

[sim3x]

Грам Орсиниум: с орм делай все синхронно и не парь мозг -- ускорить таким образом исполнение не получится

Сохранил в БД с пометкой "не отправлено"
Добавил задачу в очередь "отправить"
Обработчик задач отправил и добавил пометку "отправлено"
Все
Никаких костылей, никакой асинхронности и потоков

[Грам Орсиниум]

sim3x, так и делается (чтобы не драться за поток отправки). Вот только добавить сообщение в очередь на отправку нужно в определенное время. Например, просим бота напомнить выключить чайник через минуту. И он ровно через минуту должен прислать ответ. То есть, мы добавили нотификацию в БД, а потом, ровно через минуту, отдельный поток (так как основной в это время заблокирован и ждёт сообщений от пользователей) берёт это сообщение и добавляет в очередь на отправку.

И да, я говорил, что тут речь не о скорости работы, а о том, что когда основной поток заблокирован в ожидании сообщений от пользователей, другие потоки должны работать.

Answer 1

[Грам Орсиниум]

Если кому-то интересно, то в database.__init__ можно передать аргумент threadlocals=True, который, вроде как, всё чинит. Как я говорил, ошибка проявляется не сразу, так что придётся немного подождать, прежде чем говорить наверняка :)