Долго выполняется python, запущенный из php exec?

Question

[web5talker1]

Написан скрипт на python3, он запускается из php функцией exec, system, shell_exec.. Без разницы, проблема заключается в том, что он выполняется в сотни раз дольше, чем, когда я запускаю его прямо из терминала.
При запуске из терминала выполняется примерно 10 секунд, при запуске из php юзер www-data, выполняется примерно пол часа.. Уже 2 день бьюсь, не могу понять. В питоне новичок. В чем может быть причина?

Comments

[Шамуэй]

пример кода покажи, пожалуйста.

[web5talker1]

Хомон,
Производится поиск юзеров в чате/канале телеграм по алфавиту, записывается в массив, кодируется в json и записывается в бд, все без проблем работает.

#!/usr/bin/env python

from os import environ
from telethon import TelegramClient
from telethon.tl.functions.messages import ForwardMessagesRequest
from telethon.tl.functions.channels import GetParticipantsRequest
from telethon.tl.types import ChannelParticipantsRecent
from telethon.tl.types import ChannelParticipantsSearch
from telethon.tl.types import PeerChannel
from telethon.tl.types import PeerChat
import json
import sys
import mysql.connector



client = TelegramClient('/home/telega', xxx, 'xxx')
resourse_id = sys.argv[1]


client.connect()
resourse =  client.get_entity(resourse_id)
 

queryKey = ['а', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z','a','б','в','г','д','е','ё','ж','з','и','й','к','л','м','н','о','п','р','с','т','у','ф','х','ц','ч','ш','щ','ъ','ы','ь','э','ю','я', '1']

all_participants = []
for key in queryKey:
    offset = 0
    limit = 100
    i=True
    while i==True:
        participants = client(GetParticipantsRequest(resourse, ChannelParticipantsSearch(key), offset, limit,hash=0))
        client.send_message(client.get_entity("ramm4816"), key)
        if not participants.users:
            i=False
        for user in participants.users:
            if user.first_name and user.first_name[0].lower() == key:
                all_participants.append(user.id)

        offset += len(participants.users)
        
client.send_message(client.get_entity("ramm4816"), "step3")

json_participants = json.dumps(all_participants)

client.send_message(client.get_entity("ramm4816"), "step4")

cnx = mysql.connector.connect(user='root', password='xxxx', host='xxxx', database='xxx')
cursor = cnx.cursor()
add_subscribers = ("INSERT INTO capture_subscribers" "(channel_id, subscribers)" "VALUES (%s,  %s)")
data_subscribers = (resourse_id, json_participants)
cursor.execute(add_subscribers, data_subscribers)
cnx.commit()
cursor.close()
cnx.close()

[Шамуэй]

web5talker1, а как ты запускаешь python скрипт через php (это хотел увидеть)?

[web5talker1]

Хомон, Веб

[Шамуэй]

web5talker1, можешь скинуть пример?

[web5talker1]

Хомон, пробовал по разному..

system('python3 /home/createSubscribersCaptype.py https://t.me/joinchat/EDAtHkvkc_771XZl8hdTdw', $retval);
exec("python3 /home/createSubscribersCaptype.py https://t.me/joinchat/EDAtHkvkc_771XZl8hdTdw > /dev/null &");

[Сергей]

>выполняется примерно пол часа.
А правильно выполняется?

[web5talker1]

Сергей, Ошибок вроде не возвращает, я так и не дождался записи в бд, сейчас запущу, проверю и скажу точно

[web5talker1]

Сергей, Очень странно, но теперь выполняется приблизительно 5 минут, 2 раза отработал без ошибок. Но всё равно, в разы дольше. Вопрос все ещё в силе.

[Сергей]

web5talker1, apache тормознутая скотина, я гарантирую это.
процесс выполняется дольше, потому что, как я думаю, все это висит на http - отдельный процесс, который запускает еще другой процесс, все это работает в связке с php и вот взаимодействие между ними всеми идет долго, дольше, чем просто запустить python из терминала. Если взять какой-нибудь nginx + php-fpm, я думаю, будет быстрее. Т.е. это серверная проблема, надо как-то конфигурировать apache или php или использовать другие решения, может использовать очереди (queue), т.е. запускать скрипт и не ждать пока он выполнится. Может www-data ограничен в правах? Много всего может быть, сложно сказать сразу.

[web5talker1]

Сергей, Если всё работает, разве может быть дело в правах? Именно работа самого скрипта длительна, т.е он запускается, и очень медленно обрабатывает данные. Вы правы, я заметил, что запускается 2 процесса.

[Сергей]

>Если всё работает, разве может быть дело в правах?
может работает не верно или с ошибками (которые вылетают только по таймауту, к примеру, - отсюда и время), но это маловероятно, конечно, просто может быть все, что угодно, я думаю, стоит попробовать очереди и\или nginx + php-fpm. Также стоит учесть, что я не очень умный.

[web5talker1]

Сергей, А если попробовать от рута?

<?php
include('Net/SSH2.php');

$ssh = new Net_SSH2('www.domain.tld');
$ssh->login('username', 'password');

$ssh->read('[prompt]');
$ssh->write("sudo command\n");
$ssh->read('Password:');
$ssh->write("Password\n");
echo $ssh->read('[prompt]');
?>

Костыль, разумеется, но пхп это один большой костыль

[Сергей]

> А если попробовать от рута?
не безопасно.
В примере кода какой-то веб шелл, вы запускаете скрипт удаленно на ином сервере по ssh?
тогда лучше, я думаю, использовать restfull API:

Т.е. python script "слушает" запрос, а php передает его через curl какой-нибудь, либо запрос передается вовсе без php через js\ajax, смотря что за проект и как работает.

[web5talker1]

Сергей, Да, так можно, но даже если через ssh делать запуск, то проблем быть не должно, это очень мелкий проект, рекламный бот для размещения предложений от рекламодателей, инфа идет через телеграм, скрипт вызывается с параметром, содержащим айди чата или канала, инъекции исключены, поэтому, как по мне, самый простой вариант

[Сергей]

Если сам скрипт на питоне, почему бы и проект не сделать на нем же? Есть же jango.
Не знаю что еще посоветовать и чем помочь, я бы делал через очереди скорее всего или через свой restfull api интерфейс

[web5talker1]

Сергей, Этот скрипт, только пару процентов от проекта, а в питоне я не так давно. Поэтому, пока рано. Но питон мне понравился, буду его учить.