Как с помощью pymysql работать в многопотоке?

Question

[ZIK1337]

Допустим работает 200 потоков, соединение устанавливаю в основном потоке и передаю его дочерним.
Нужно, чтобы в конце работы каждого потока (данные зависят от вычислений в потоке) шла запись одной строки в БД через это переданное соединение.
Но это не выходит сделать, вроде как соединение pymysql нельзя в потоки передавать, но и в каждом потоке коннектиться к БД - тоже нельзя.

Как тогда можно реализовать задачу?

Answer 1

[Дмитрий]

Какую проблему вы пытаетесь решить?
Можно сделать так, чтобы каждый поток отправлял результат своей работы в основной поток, а тот уже писал в БД.

Answer 2

[Dr. Bacon]

200 потоков

вычислений в потоке

А ты точно понимаешь как работают потоки в python?

А так вариантов много, например:
- внутри каждого потока получать коннект не напрямую от mysql, а через пул, и не всё время, а только когда надо считать/записать.
- посредством очередей, разделить "вычисления" и запись в БД
Но еще раз, при такой постановки задачи - 200 потоков это перебор

Comments

[ZIK1337]

Вычисления это образно, не придирайтесь к словам
В потоках работа с запросами

[Dr. Bacon]

ZIK1337, я не придираюсь, 200 потоков в python, причем каждый еще и с БД работает, вызывают такие вопросы.

Answer 3

[ArtiomK]

Соединения с базой данных можно создавать только в потоке, один поток - одно активное соединение . В Python GIL не позволит сделать вычисления быстрее за счёт многопоточности, если нужны именно вычисления используйте multiprocessing. Если не нужны вычисления рассмотрите asyncio как альтернативу multithreading.

Comments

[ZIK1337]

Не дает подключаться в каждом потоке
Опять же - вычисления это образно, идет работа с запросами

[ArtiomK]

ZIK1337, у меня в нескольких проектах прекрасно подключается, вы точно создаёте соединение внутри потока?

[ZIK1337]

ArtiomK, ну да, сыпались ошибки из-за невозможности подключения к БД

[ArtiomK]

ZIK1337, добавьте текст ошибки и кусок кода в описание вопроса

[ZIK1337]

ArtiomK, выложу именно вам сюда, поскольку вы просили про подключение в каждом потоке
ошибка:

(1203, "User logik_turbo already has more than 'max_user_connections' active connections")

код в функции потока на обычное подключение, думаю и не нужен, из текста ошибки все видно

[ArtiomK]

Проверяйте превышено ли максимальное кол-во подключение к БД (поле max_user_connections), проверяйте в своем "секретном" коде, корректно ли закрываете подключения после использования или они остаются открытыми.

Действительно

из текста ошибки все видно

, на stackoverflow множество вопросов именно про эту ошибку.

[ZIK1337]

ArtiomK, естественно все закрывается в конце потока
да, вопросов много, а ответы сводятся к тому, что хостер не разрешает множественные подключения к БД
поэтому я и отказался от варианта коннекта к БД в каждом потоке

[ArtiomK]

ZIK1337, ну все логично, можно сделать до 50 корутинов или потоков с открытыми одновременно соединениями к БД, есть еще такой примитив синхронизации как Semaphore (и в asyncio, и в threading), чтобы ограничить число одновременных обращений.

Semaphores are often used to guard resources with limited capacity, for example, a database server.

Semaphore

Answer 4

[bbkmzzzz]

еще один поток, который работает с базой, и слушает очередь, потоки воркеры пишут в очередь, поток с базой пишет в базу

Comments

[ZIK1337]

а если мне еще нужно, допустим, выборку делать в каждом потоке
и в зависимости от того, сколько строк отдаст, принимать дальнейшие решения в потоке?