Как запустить несколько python-запросов к базе postgresql одновременно?

Question

[Олег Петров]

Мне нужно выполнять эту функцию, которая делает запросы к базе sql 10 раз одновременно.(для ускорения)
Ну и записывать в файл, в идеале в один, но можно и в разные, если это может вызывать ошибки.
Подскажите как это грамотно делается в python?
P.S. Читал в мануале к postgres "Обычно наибольший выигрыш можно получить с запросами, обрабатывающими большой объём данных, но возвращающими пользователю всего несколько строк."
У меня как раз такие запросы, обрабатываем миллионы строк, а получаем только длину строки- одно число.
P.P.S. Или может проще запустить 2 процесса Python одновременно?

import psycopg2 as p
def poker_function(x):
    xi = np.round(x)
    con = p.connect("dbname='base1' user='postgres' host='localhost'")
    cur = con.cursor()
    cur.execute("select pole1 from database1")
    pole = cur.fetchall()
    res = len(pole)
    return res
    if res < -65
            with open("results.csv", "a") as f:
            f.write(str(xi)) #запись параметров

Answer 1

[Алексей Черемисин]

Возьмите асинхронную библиотеку для постгрес https://github.com/aio-libs/aiopg
И по аналогии первого примера https://habrahabr.ru/post/337420/ запускаете кучу тасков и ждете, когда они все выполнятся.

Comments

[Олег Петров]

Если честно, то пока для меня сложновато это реализовать качественно, не хватает скилла. А возможно ли просто запустить 2-5 копий моей программы из под Windows? На данном этапе мне бы этого хватило. В pycharm мне этого сделать не удалось.

[Алексей Черемисин]

Олег Петров Да, возможно! Вам всего-то нужно открыть через поиск нужное количествоо консолей "cmd", перейти в каждой консоли в папку с проектом, и запустить вашу программу. Проверьте, что путь до питона прописан в системных переменных в windows. Но к питону, похоже, это отношения уже не имеет.

Answer 2

[Denis Sh]

можно попробывать через multiprocessing
но тебе так же необходимо будет создавать новые подключения к БД
https://habrahabr.ru/post/167503/

Comments

[Олег Петров]

Как думаете будет существенный прирост в скорости?

[Denis Sh]

должен быть, я на поиск по справочнику и вставку в sql таблицу так делаю, прирост в несколько раз.
Тут можно ещё посмотреть, что за запрос, если много однотипных запросов типа
select * from user where id = 1; select * from user where id = 2; select * from user where id = 3
проще сделать select * from user where id in (1,2,3)

[Олег Петров]

И еще. Существует ли возможность запустить 2 копии моей программы из под WIndows одновременно?

[Denis Sh]

любую программу можно запустить много раз, если в смой программе нет защиты от этого. Так как у вас по факту будет простой скрипт, нечего не мешаего его запускать много раз.
Каждый запуск создаст свои потоки, переменные и тому подобное и будет работать в рамках своего процесса.
Если хочешь запустить именно из своей программы копию своей программы, можно попробывать сделать fork либо через subprocess

[Олег Петров]

Denis Sh, А можно пример? Например мне нужно запустить Print("Hello World!") 5 раз одновременно. Как это будет работать?

[Denis Sh]

https://docs.python.org/3/library/multiprocessing.html
так будут обрабатываться в разных процессах

from multiprocessing import Process

def f(name):
    print('hello', name)

if __name__ == '__main__':
    for a in  range(5):
        p = Process(target=f, args=('bob',))
        p.start()
        p.join()

[Олег Петров]

Denis Sh, Спасибо

[Denis Sh]

некорректный пример, тут он будет ждать завершения процесса

[Олег Петров]

Denis Sh, Спасибо, пока решил просто запуском нескольких программ одновременно.

Answer 3

[Виталий]

select * from database1
Ага именно несколько строк ты и возвращаешь, несколько миллионов)

Comments

[Олег Петров]

Я не стал тут писать весь запрос, так как он огромный. Просто написал для примера.

[Олег Петров]

Поменял в вопросе запрос.