Два цикла одновременно — как?

Question

[Глеб Лукашонок]

Всем привет! Сделал скрипт - телеграмм бот + прослушивание событий из бд и отправка сообщений. Всё работает, но... Когда запускаю собранный .exe (через auto-py-to-exe) он начинает просто жрать ОЗУ до предела. Хотя если запустить .py - всё нормально. Может я с multiprocessing накосячил? Вот код:

пару хэнлеров для команд ТГ боту

def listen_event()():
    тут слушатель событий БД и когда появляется новое событие - делаются 
    манипуляции с SQL и шлется сообщение в ТГ
    return

def start_tg_observer():
    executor.start_polling(dp, skip_updates=True)

def start_fb_observer():
    while True: # что бы он запустился ждать новое событие
            listen_event()

if __name__ == "__main__":
    try:
        Process(target=start_tg_observer).start()
        Process(target=start_fb_observer).start()
    except Exception as e:
        pass

Ещё раз повторюсь - проблема появляется только когда соберешь в .exe. Помогите, пожалуйста. Спасибо!

Comments

[Vindicar]

Ну вообще мультипроцессинг с передачей нетривиальных (списки, словари, числа, строки) объектов фз как работать будет. А как ты слушаешь события БД?
Да и executor.start_polling() намекает на aiogram (мог бы и сказать!), точно нет возможности сделать цикл отслеживания БД асинхронным и запустить его через asyncio.get_event_loop().create_task()?

[Глеб Лукашонок]

Vindicar, "намекает на aiogram (мог бы и сказать!)" - так и есть, извините. "сделать цикл отслеживания БД асинхронным" - я ставлю перед этой функцией async, а оно отвечает "coroutine 'listen_event' was never awaited". И если подниматься выше async\await до:

async def start_app():
    Process(target=start_tg_observer).start()
    await Process(target=start_fb_observer).start()

Ответ будет таким же. Или я не правильно понял из-за нехватки знаний\опыта -_-

[shurshur]

Глеб Лукашонок, скорее всего, в этом коде где-то бесконечный цикл без внятных ожиданий ввода-вывода или хотя бы коротких sleep. Разумеется, если моментально проверять события и сразу же повторять цикл, то процессор будет загружен сильно.

[Глеб Лукашонок]

shurshur, в цикле ожидание события есть внятное ожидание:

def listen_event():
    try:
        con = create_con()
        cond = con.event_conduit(["d_new_event"])
        cond.begin()
        cond.wait()

после этого он ничего не делает пока не появится новое событие.

Answer 1

[Глеб Лукашонок]

Не знаю почему, но у меня заработало так:

пару хэнлеров для команд ТГ боту

def listen_event()():
    # пункт №1 - Перенёс во внутрь этой функции While True

def start_tg_observer():
    executor.start_polling(dp, skip_updates=True)

# пункт №2 - Функцию снизу вообще удалил
def start_fb_observer():
    while True: # что бы он запустился ждать новое событие
            listen_event()

if __name__ == "__main__":
    try:
        Process(target=start_tg_observer).start()
        # пункт №3 внизу заменил на запуск listen_event напрямую.
        Process(target=start_fb_observer).start() 
    except Exception as e:
        pass

В итоге занимает 125 мб ОЗУ -_-

Answer 2

[soremix]

Известная тема

from multiprocessing import freeze_support

if __name__ == "__main__":
    freeze_support()
    try:
        Process(target=start_tg_observer).start()
        Process(target=start_fb_observer).start()
    except Exception as e:
        pass

https://nitratine.net/blog/post/issues-when-using-...

Comments

[Глеб Лукашонок]

soremix, не помогло. Всё тоже самое =(

[Дмитрий Наумов]

попробуй через библиотеку threading

[Глеб Лукашонок]

Дмитрий Наумов,

try:
        my_thread1 = threading.Thread(target=start_tg_observer).start()
        my_thread2 = threading.Thread(target=start_fb_observer).start()

Выдаёт:

There is no current event loop in thread 'Thread-1'.

А так:

if __name__ == "__main__":
    freeze_support()
    try:
        task = asyncio.get_event_loop(start_tg_observer)
        my_thread1 = threading.Thread(target=task).start()
        my_thread2 = threading.Thread(target=start_fb_observer).start()
    except Exception as e:
        pass

Стартует и через секунду процесс завершен xD