Какой лучший способ передачи данных между PHP и Python скриптами?

Question

[Evgeny_A]

Приветствую.

Есть у меня такое:

1. Python скрипт, который занимает много места в оперативке и которому нужно ~10 секунд, чтобы загрузится
   
2. PHP скрипт, который принимает POST запрос, но не может выполнить работу Python скрипта
   

Как это должно работать:

1. Python скрипт должен висеть запущенным и ждать данные от PHP скрипта (строку JSON)
   
2. PHP скрипт принимает файл, присланный формой на сайте с помощью POST запроса
   
3. PHP скрипт проверяет, чтобы файл соответствовал всем требованиям и если ок, то передает JSON в Python
   
4. Python скрипт делает работу над файлом и возвращает результат (строка JSON)
   

Вопрос: какой самый надежный и простой способ организовать их общение в Linux?

Решения, которые я пробовал, но которые мне не симпатичны:

1. PHP скрипт отправляет данные в Python скрипт с помощью exec("python3.7 script.py $string 2>&1", $output)$? но в этом случае Python скрипт каждый раз грузится с нуля, что очень долго. Это точно не подходит.
   
2. Смог создать сервер из script.py, который ждет GET запрос на порту IP:9090 и все работает приемлемо, но мне кажется это замусоренным решением и хочется верить, что можно как-то подружить скрипты на уровне процессов linux (и это быстрее, отказоустойчивее, проще в реализации)
   

Может кто поделится опытом и видением?

Comments

[Дмитрий Добрышин]

Не пробовали общаться через базу данных? То есть один записывает в БД запись, другой, делая опросы БД, дожидается появления записи, после чего считывает и удаляет запись. Обрабатывает данные и записывает их в другую таблицу. Первый всё это время делает периодические запросы к БД, и при появлении записи - считывает их и удаляет уже не нужную запись. Так как база данных постоянно пустая, то индексы в ней создавать не нужно.

Вариант два - питоновский скрипт обрастает API и ожидает запросов по API (например нестандартный порт) и сразу возвращает результат.

[xmoonlight]

Дмитрий Добрышин, сокеты в разы быстрее, чем IP-порты. (но работают, разумеется, только внутри одной ОС)

[Sergei Iamskoi]

используй grpc, очереди.

Answer 1

[xmoonlight]

Cокеты unix. (не TCP-порты!)

Comments

[Daniil Markelov]

Можно ли использовать сокеты для создания API? Или так не получится?

[xmoonlight]

Зёма Подушкин, если внутри одной ОС - то можно. Если по сети - тогда только TCP-сокеты.
unix - не будут работать.
Я уже писал в коментариях к вопросу, скопирую цитату:

сокеты в разы быстрее, чем IP-порты. (но работают, разумеется, только внутри одной ОС)

Т.е., для межпроцессового взаимодействия между разными програмными модулями внутри одной ОС можно создать API-интерфейс на UNIX-сокетах, чтобы обеспечить максимальную скорость обмена ("диалога") данными между разными процессами.
Например, при разработке микросервисов или централизованных "магистралей/шин" данных.

Answer 2

[Evgeny_A]

Решение, найденное с подсказки xmoonlight

Значит в PHP файл пихаем это:

$sock = stream_socket_client('unix:///tmp/echo.sock', $errno, $errst); 
fwrite($sock, $type); 
$response = fread($sock, 1024); 
fclose($sock);

А в Python файл пихаем это:

# Адрес файла, который будет мостиком для общения между PHP и Python
SERVER_PATH = '/tmp/echo.sock'

# Если файл уже есть, его надо удалять
if os.path.exists(SERVER_PATH):

    os.remove(SERVER_PATH)

# Создаем новый UNIX сервер
server_socket = socket.socket(socket.AF_UNIX, socket.SOCK_STREAM)
server_socket.bind(SERVER_PATH)
server_socket.listen()

while True:

    client, adress = server_socket.accept()
    message = client.recv(1024)
    # Печатаем входящее сообщение
    print('received:', message.decode("utf-8"))
    # Отправляем ответ 
    client.send('This is my Response!'.encode())

client.close()
server_socket.close()
print('UNIX сервер закрыт!')

Запускаем Python файл из под того же пользователя, что и PHP файл и вуаля, все работает.

Comments

[xmoonlight]

А меня - забыли отметить... Хотя мой ответ на вопрос - был верным...
Спасибо, что хотя бы упомянули....

[Evgeny_A]

xmoonlight, сорри, забыл! Спасибо еще раз!

[xmoonlight]

Evgeny_A, И Вам отдельное Спасибо за то, что поделились наработками с аудиторией тостера.

Answer 3

[Владимир Коротенко]

Вы изобрели микросервис :)
А так решение хорошее. Возможно только стоит завернуть его в сервис.
И добавить менеджер очереди.

1. запрос старт длительной задачи, отдаете taskid
2. запрос с taskid, выдает ее статус и путь к результату (опрашиваете с нужной периодичностью)

https://habr.com/ru/company/southbridge/blog/255845/
Если уж так беспокоит безопасность то прибиндите его на 127.0.0.1

Смог создать сервер из script.py, который ждет GET запрос на порту IP:9090 и все работает приемлемо, но мне кажется это замусоренным решением и хочется верить, что можно как-то подружить скрипты на уровне процессов linux (и это быстрее, отказоустойчивее, проще в реализации)

Comments

[Evgeny_A]

Спасибо за комментарий, но я не смог однозначно понять что значит это:

1. запрос старт длительной задачи, отдаете taskid
2. запрос с taskid, выдает ее статус и путь к результату (опрашиваете с нужной периодичностью)

Можете разжевать подробнее?
Длительная задача, это пока нечто грузится в память в случае с моим Python скриптом?

Кажется опрос с переодичностью мне не подойдет, потому что скрипт должен всегда висеть в памяти и ждать, когда я его спросят.

[Владимир Коротенко]

На примере транскодера. Нужно загрузить видеоролик и наложить на него маску с именами пользователя

1. загрузка из браузера ( прогресс можно реализовать без проблем)
2. парсинг параметров и списка пользователей (моментально)
3. запуск ffmpeg + наложение ватермарка с именем (4-5 мин на каждого пользователя)

То есть на 3 этапе мы уже имеем все данные исходный файл и маски для обработки. Мы просто записываем состояние в базу или в файл.

{
'taskid': 555555,
'status': 'uncomplite',
'source': '/tmp/67777.mp4',
'watermarks': [
'test watermark',
'Ivanov Ivan',
'Perov Petr'
],
'jobs': [
{ name: 'test watermark', path: '/tmp/out66666.mp4', status: complite}
]
}

И периодически опрашиваем состояние