Как можно асинхронизировать и ускорить код?

Question

[Rotyin]

for i in range(1,string[0]+1):
        photo_url = f"Tinder/{i}/1.jpg"
        try:
            num = compare_faces(photo_url, "s.jpg")
            if num == True:
                file = open(f"Tinder/{i}/text.txt","r",encoding = "utf-8")
                caption = ''
                for i in file:
                    caption = caption + i
                file.close()
                files = open(photo_url, "rb")
                bot.send_photo(message.chat.id,files)
                bot.send_message(message.chat.id,caption)
        except Exception as e:
            print(e)

задержка происходит в этой строке:
num = compare_faces(photo_url, "s.jpg")
Функция в один конец, воращает True или False.
Как это можно ускорить?

Comments

[Ivanzolo2001]

Если функция из установленного модуля всё будет труднее, но если это ваша функция привели бы хоть ЕЁ код.

[Rotyin]

Ivanzolo2001,

async def compare_faces(img1_path, img2_path):
    img1 = face_recognition.load_image_file(img1_path)
    img1_encodings = face_recognition.face_encodings(img1)[0]

    img2 = face_recognition.load_image_file(img2_path)
    img2_encodings = face_recognition.face_encodings(img2)[0]

    result = face_recognition.compare_faces([img1_encodings], img2_encodings)

    if result[0]:
        print("True")
        return True
    else:
        print("False")
        return False

[Ivanzolo2001]

Rotyin, скорость вам тут забирает face recognition. Либа огромная и функции занимают времени, в целом могу дать только одну поправку вам. Нет смысла вам писать внизу проверки с помощью if, сразу же берете нулевой элемент от result, выводите его и возвращаете.

[Vindicar]

Rotyin, задача CPU-bound, т.е. с упором на расчёты а не на ввод-вывод. Асинхронность как таковая тут не поможет, можно только вытащить часть кода в другой процесс с помощью asyncio.loop.run_in_executor() - это позволит выполнить длительную задачу, не останавливая цикл реактора асинхронной программы.

[Ivanzolo2001]

Vindicar, В данной ситуации это не сильно ускорит код, лучше уж оставить как есть

[Rotyin]

Ivanzolo2001, но это очень долго, одна операцыя длиться 1 сек, а если надо 1000, это уже слишком много...

[Rotyin]

Ivanzolo2001, а как же multiprocessing?

Answer 1

[d'Ivan]

1. Само собой, напрашивается вычисление вектора face_encodings от изображения эталона лишь однократно, вынося его перед циклом.
   
2. Оба вызова face_recognition.load_image_file можно сделать асинхронными с await на каждой.
   Аналогично любые другие I/O операции с файлами и функции bot.send_photo и bot.send_message по отдельности.
   
3. В face_recognition.compare_faces задача вычислительная, поэтому остается создать несколько процессов согласно количеству ядер процессора минуя очередь, а результатами (вычисленными хэшами) обмениваться через pipe.
   

Comments

[Rotyin]

Можна код?

[d'Ivan]

Rotyin,

Можна код?

нет, лучше сам попробуй. В документации полно примеров ведь.

Answer 2

[kirillinyakin]

Можете использовать модуль multiprocessing модуль, в том числе использует пул процесов, чтобы не убить сервер ))

Comments

[Rotyin]

Пробовал, убил свой комп, создал одновременно 1000 потоков

[kirillinyakin]

Поэтому используйте пул процессов

[Rotyin]

kirillinyakin, тоже самое