Какая лучшая связка MySQL DB и Python 3 multiprocessing?

Question

[Slava Kryvel]

Сейчас использую pymysql. Все устраивало до того момента, когда появилась необходимость распараллелить нагрузку.
при использовании multiprocessing.Poll() скрипт стал зависать.
Единственное, что может вызвать такое поведение, это использование pymysql в субпроцессах.
У меня одно соединение с базой, глобальное.
Посоветуйте, как лучше поступить: Использовать другой коннектор к базе (какой?) или же создавать каждый раз новое подключение к базе (что я так понимаю ухудшит производительность) ? Запросов ожидается до 5 в секунду. В дальнейшем думаю макс до 10.
пробовал использовать в субпроцессах multiprocessing.Lock() но это не дало никакого результата.
я так вообще понимаю, что это баг в pymysql ? я бы даже зарепортил его, но не уверен, что это не ожидаемое поведение.. мож я что-то делаю не так?)

Answer 1

[Dimonchik]

используете exec() или multiexec() ?

Comments

[Slava Kryvel]

честно говоря не знаю что там используется внутри. я просто создаю пулл и запускаю в нем фунцию.
примерно так
pool = Pool(cores)
pool.map(func,args)
pool.close()
pool.join()

[Dimonchik]

не-не, я про mysql

[Slava Kryvel]

dimonchik2013: возможно опять не совсем правильно Вас понимаю.. запросы выполняются вот так
cur = connection.cursor()
cur.execute(sql_str)
cur.commit()

сейчас переписал так, что для каждого запроса к базе создаю новое подключение, выполняю запрос и закрываю подключение. но мне кажется так очень неправильно делать...

[Dimonchik]

да, сорри, запутал вас
вот тут: вместо cur.execute(sql_str) нужно

cursor.executemany(""" сюда запрос""" , insToDb)

где insToDb - список кортежей (вроде бы и список списков работает, но у меня в винде нет, что-то типа insToDb = [tuple(x) for x in csvlist], где x - строка параметров запроса), т.е. он за раз выполняет много строк, 100-1000 свободно можно

[Dimonchik]

ну т.е. в вашем случае cur.executemany() ессно