Какой самый простой способ передавать сигналы в Python-скрипты для асинхронного выполнения задач?

Question

[Александр Лебедев]

Доброй ночи :)

Учу Python (3), базовый уровень, но возникла необходимость настроить связь между скриптами, завяз.

Примерная задача:

• Скрипт 1 выполняет задачи в for цикле. По некоторым задачам ему нужна дополнительная обработка внешним скриптом, он дает Скрипту 2 сигнал (мол, сделай-то то), и не дожидаясь выполнения задачи идет на следующую итерацию цикла.
  
• Скрипт 2 не должен ничего возвращать Скрипту 1, результат его работы пишется сразу в базу, но к нему может поступить одновременно несколько запросов с нескольких работающих версий Скрипта 1.
  

Идеальное решение: в моей голове висит вариант, когда Скрипт 2 висит запущенным, получает запросы от Скрипта 1 в любом количестве, и под каждый запрос создает отдельный асинхронный процесс, результат которого записывает в базу.

Как я пытаюсь решить это сейчас:

• Записываю промежуточные варианты выдачи Скрипта 1 в базу, потом раз в секунду проверяю базу на предмет наличия промежуточных вариантов, и допиливаю их Скриптом 2. Не гибко + могу обрабатывать только один промежуточный вариант за раз.
  
• Пробовал сделать через микросервисы на Flask, то есть поднял Скрипт 2 как сервер, Скрипт 1 передает ему GET запросы, получает True и идет по циклу дальше. Но абсолютно не решило проблему, ибо все равно получается обработка одного запроса за раз, а надо чтобы если поступило 100 запросов, то 100 раз началась обработка.
  

В общем, буду благодарен любому совету на тему с минимальным расжевыванием.

Comments

[Александр Лебедев]

Пока лучший из возможных вариантов - Celery, немного сложновато, но если разобраться, то можно и список задач наглядно видеть, и очередям приоритеты присваивать, мир-труд-май.

Answer 1

[Сергей]

Самый простой, наверное, multiprocessing и Queue.
https://docs.python.org/3.6/library/multiprocessin...

Comments

[Александр Лебедев]

А можно чуть-чуть подробней? То есть, как запускать несколько процессов одновременно я разобрался, но вот с Queue есть недопонимание. Создал я Queue, положил туда промежуточные результаты Скрипта 1, которые затем должен оттуда достать Скрипт 2. Но ведь если промежуточных результатов 300 штук, то как Скрипт 2 сожрет и обработает их все? Мне не обязательно техническую реализую, мне бы логику понять :)

[Александр Лебедев]

То есть, в первом примере доков, там Функция 1 посылает данные в Функцию 2, а затем забирает себе результат. Мне не совсем понятно, зачем в том примере Queue вообще :)

[Сергей]

Скрипту 2 нужно в цикле забирать результаты из очереди.

while True:
    data = q.get()  # блокирует выполнение до получения новых данных
    if data == 'bla':
        break

Чтобы выйти из бесконечного цикла, можно послать туда какое-нибудь заранее известное значение.

import random
import time
from multiprocessing import Process, Queue

def worker(prefix, q):
    for x in range(4):
        q.put('result_%s_%d' % (prefix, x))
        time.sleep(random.random())


def db_writer(q):
    print('DB start')
    while True:
        data = q.get()
        if data == 'quit':
            break
        print('DB: %s' % data)
    print('DB done')


q = Queue()

workers = [Process(target=worker, args=('1', q)),
           Process(target=worker, args=('2', q))]

db = Process(target=db_writer, args=(q,))

print('Start')
db.start()
for x in workers:
    x.start()
for x in workers:
    x.join()

q.put('quit')   # Если убрать, то скрипт не завершится.
db.join()
print('Done')

[Сергей]

PS Вариант с subprocess весьма сомнительный.

[Александр Лебедев]

Сергей, Все более чем понятно, огромное спасибо :) Но пока реализовал как раз через subprocess. В качестве Queue использую capped collection из MongoDB, и если ловлю нужный документ, то выполняю процесс через subprocess.Popen(). Правда, я его Popen запускаю в функции, а функцию запускаю через multiprocessing.Process(), так что вроде и овцы целы и волки сыты. А в чем проблема использования subprocess в данном контексте?

[Сергей]

А в чем проблема использования subprocess в данном контексте?

В принципе, если это временный скрипт или не планируется расширять функционал, то проблем нет, можно и так. В общем случае проблема в том, что это просто не тот инструмент. Уже видно, что Вы пытаетесь его через силу запихнуть туда, куда он не подходит:

(из параллельной ветки):

как в Popen передать аргументы?
...
никак, только как аргументы, ну или можно накостылить
...
Я уже сделал костыль

Popen запускаю в функции, а функцию запускаю через multiprocessing.Process

Это за гранью добра и зла)

subprocess предназначен для запуска процессов и общения с ними через потоки ввода/вывода. Первая строчка документации:

The subprocess module allows you to spawn new processes, connect to their input/output/error pipes, and obtain their return codes

[Александр Лебедев]

Сергей, То есть, приходим к тому, что это некрасиво/нерационально (это я сам уже прям осознаю), но как инструмент не для production приемлем :) Буду иметь ввиду.

[Александр Лебедев]

Сергей, Popen() действительно не нужен, я мог бы просто создавать процесс и запускать оттуда функцию. Но мои внешние файлы (которые я сейчас открываю через Popen) по нескольку сотен строчек, и subprocess.Popen() кажется более чистым/надежным решением, чем засорять namespace через from import *. Что думаете? :)

[Сергей]

но как инструмент не для production приемлем

Типа того.

Что думаете?

Я дальше заданного вопроса не вижу, что у Вас там, поэтому ничего не думаю.

В 99% `from import *` не нужен.

[Александр Лебедев]

Сергей, Понял, наглею :) Буду разбираться. Еще раз спасибо!

[Сергей]

Александр Лебедев, удачи в разборах.

Answer 2

[Astrohas]

можно банальным subprocess.Popen обойтись :

import subprocess

subprocess.Popen('python script2.py')

Comments

[Александр Лебедев]

Но ведь тогда функция будет ждать окончания subprocess, чтобы продолжить дальше?

[Astrohas]

Александр Лебедев, пардон не дочитал вопрос, используйте Popen вместо call

[Александр Лебедев]

Astrohas, Тогда еще мелкое уточнение, а Popen все будет грузить в одно ядро или в несколько? :)

[Astrohas]

Александр Лебедев, зависить от системы. Куда распределить система туда этот процесс и пойдет. НО в большинстве случаев будет грузить одно ядро

[Александр Лебедев]

Astrohas, Ок, тогда самый последний вопрос - а как в Popen передать аргументы? То есть, не "-аргументы", вроде командной строки, а словарь, например?

[Astrohas]

Александр Лебедев, никак, только как аргументы, ну или можно накостылить с stdi, ну ещё можно словарь в json перекодировать и передать как строку

[Александр Лебедев]

Astrohas, Я уже сделал костыль через внесение в mongodb, и передачу аргументом id записи :) Работает прекрасно :)