Что не так с кодом Python?

Question

[037]

Приведенный ниже код должен искать первое изображение и в случае, если он его не находит, выполнять поиск других изображений и кликать по ним.
проблема заключается в том, что после того, как он не находит его в первый раз и прокликивает все найденные изображения он перестает выполнять код. его не сильно заботит то, что он в цикле и выйти из него он тоже не хочет.

Сам код исполняется весь, но в конце пишет 'imgs f done' и после этого он продолжает принтить его же, только уже ничего не делает. это лучше чем то, что было раньше, но я теперь в принципе не понимаю, где он потерялся...

Пример кода:

import pyautogui as pg
import time as t
import cv2
import numpy as np



    mmcfs = 0
    while mmcfs > 1:
        try:
#first.png это то, что надо найти.
            gb8 = pg.locateOnScreen('first.png', region=(0, 0, 450, 970), confidence=0.8)
            pg.moveTo(gb8)
            t.sleep(0.3)
            pg.moveTo(1, 1)
            print('gb8nmc')
            y += 2
            mmcfs += 1
            t.sleep(1)
        except:
# а приведенный ниже цикл должен был выполняться каждый раз, когда first.png был не найден
            while True:
                try:
                    image_path1 = '1.png'
                    image_path2 = '2.png'
                    image_path3 = '3.png'
                    image_path4 = '4.png'
                    image_path5 = '5.png'

                    clicks = 2
                    threshold = 0.7

                    image1 = cv2.imread(image_path1, cv2.IMREAD_GRAYSCALE)
                    image2 = cv2.imread(image_path2, cv2.IMREAD_GRAYSCALE)
                    image3 = cv2.imread(image_path3, cv2.IMREAD_GRAYSCALE)
                    image4 = cv2.imread(image_path4, cv2.IMREAD_GRAYSCALE)
                    image5 = cv2.imread(image_path5, cv2.IMREAD_GRAYSCALE)


                    
                    screenshot = pg.screenshot(region=(0, 0, 450, 970))
                    screenshot = np.array(screenshot)
                    screenshot = cv2.cvtColor(screenshot, cv2.COLOR_RGB2BGR)
                    gray_screenshot = cv2.cvtColor(screenshot, cv2.COLOR_BGR2GRAY)

                    images = [image1, image2, image3]
                    for image in images:
                        result = cv2.matchTemplate(gray_screenshot, image, cv2.TM_CCOEFF_NORMED)
                        locations = np.where(result >= threshold)
                        image_center = (image.shape[1] // 2, image.shape[0] // 2)

                        for pt in zip(*locations[::-1]):
                            center_x = pt[0] + image_center[0]
                            center_y = pt[1] + image_center[1]
                            pg.click(x=center_x, y=center_y, clicks=clicks)
                    t.sleep(3)
                    print('imgs f done')
                    break
                except:
                    print('imgs f failed')
                    t.sleep(1)

Answer 1

[Vindicar]

Потому что ты неверно понимаешь логику своей программы.
Если у тебя не найдётся 1.png, вылетит исключение, и даже не будут попытки искать дальнейшие картинки - управление перейдёт в except, а затем на новую итерацию while True, где снова будет попытка искать 1.png.

Есть и ещё ряд замечаний.
1. На кой баклажан ты загружаешь 1.png-5.png на каждой итерации цикла? Только зря программу замедляешь. Если ты не хочешь обновлять эти файлы без перезапуска программы, то загрузи их один раз на старте.
2. То же самое со скриншотом. Ты делаешь новый скриншот перед каждым следующим файлом - это точно хорошая идея? Вроде как надо поискать изображения на скриншоте, и только потом делать следующий.
3. Почему ты используешь И locateOnScreen(), И matchTemplate()? Выбери ту функцию, которая лучше работает, и используй только её.
4. Ты нифига не отслеживаешь, а что за исключение-то вылетает? Может, у тебя программа в принципе кривая, и дело не в том, что изображение не найдено. Для locateOnScreen() лови конкретно pyautogui.ImageNotFoundException. matchTemplate() исключений не кидает, так что проверяй, что locations не пуст, а имеет хотя бы один элемент. А остальные эксепшены не лови, или хотя бы выводи инфу о них в журнал работы программы.

Comments

[037]

я не совсем понимаю как работать с opencv. locateOnScreen писал я, а matchTemplate использовал чел в примере по opencv на этом же хабре.
А за все, что ты написал, спасибо.

[Vindicar]

037, я бы написал две программы, и сравнивал их.
Для locateOnScreen() всё очень просто же.

files = [
    'first.png',
    '1.png',
    '2.png',
    '3.png',
]

for f in files:  # перебираем файлы, которые ищем
    try:
        gb8 = pg.locateOnScreen(f, region=(0, 0, 450, 970), confidence=0.8)
    except pyautogui.ImageNotFoundException:
        time.sleep(0.5)  # ну или сколько нужна пауза между попытками
    else:
        # реагируем на найденное изображение f
        break  # нашли, прерываем цикл по файлам
else:
    print(':(')  # не нашли ни одного из файлов, реагируем на это

Ну и если надо, можно цикл for завернуть в ещё один цикл.

[037]

Vindicar,

это немного не то, что я искал. весь код получился сложным потому, что мне нужно было найти все копии изображений, которые есть на экране, и уже потом на них всех нажать. но дареному коню в зубы не смотрят.

у меня есть рабочая реализация того, как это в теории должно было работать. написал ее в прошлом месяце... мне вот интересно, на сколько плохо там все написано. если не сложно, можешь прокомментировать?

import time as t

print('x')
x=int(input())
print('y')
y=int(input())
print('z')
z=int(input())
print('time')
tim=int(input())
def sc(x,y,z):
    print(x,y,z)
    print('begining of the cycle')
    ecs = z+x+y
    if ecs >0:
        ec(x,y,z)  
    else:
        print('no activities found')
        t.sleep(1)
        print('exec. file')
        frm()
        
def ec(x,y,z):
    while x>0 or y>0 or z>0:
        if x  > 0:
            while x>0:
                print('exec.x')        
                x -= 1
                t.sleep(1)
        else:
            print('skiping x')
            t.sleep(1)
        if y > 0:
            while y>0:
                print('exec.y')        
                y -= 1
                t.sleep(1)
        else:
            print('skiping y')
            t.sleep(1)
        if z > 0:
            while z>0:
                print('exec.z')        
                z -= 1
                t.sleep(1)
            #ec -= 1
        else:
            print('skiping z')
            t.sleep(1)
    sc(x,y,z)
    
    print(x,y,z)
def frm():
    print('executing script')
    t.sleep(3)
    tmr()
    
def tmr():
    print('waiting')
    t.sleep(tim)


while True:
    sc(x,y,z)

большая версия полностью рабочая. меня интересует, можно ли где-то как-то сделать лучше. материалов в интернете вроде бы и много, но все говорят одно и то же. а как изучить что то в практической ситуации надо, так ни у кого даже подходов нет

[Vindicar]

037, прокомментировать затрудняюсь, потому что не очень ясно что именно ты пытаешься сделать - ты об этом не говоришь нигде, да и именование переменных/функций в коде тоже не очень-то внятное. Но если работает - уже хорошо, можно потихоньку полировать и приводить в порядок, потому что всегда есть версия, на которую можно откатиться.

[U235U235]

locations выдаст блобы, где значение выше порога. Блоб содержит не один пиксель, а множество рядом расположенных. Нужно использовать центроиды.

[037]

U235U235, who?

[037]

Vindicar, решил следующим образом. код убогий, но боже упаси, он работает. я даже не зняю, что отсюда можно убрать. есть предположения, но пока работает оставлю так.

try:
        raise ImageNotFoundException
        gb8 = pg.locateOnScreen('new_mission_complete.png', region=(0, 0, 450, 970), confidence=0.9)
        print(gb8)
        pg.moveTo(gb8)
        t.sleep(0.3)
        pg.click(gb8)
        print('gb8nmc')
        y += 2
        t.sleep(0.5)
    except ImageNotFoundException:
        print('new_mission_complete not found')
        try:
            for pos in pg.locateAllOnScreen('new_mission_mob.png', region=(0, 0, 450, 970), confidence = 0.7):
                print(pos)
                pg.moveTo(pos)
                t.sleep(0.1)
                pg.click(pos)
        except ImageNotFoundException:
            print('img nf')
            t.sleep(0.5)
            files = [
                'new_mission_boss.png',
                'new_mission_holow.png',
                '1confirm.png',
                '1confirm2.png',
            ]
            for f in files:
                try:
                    gb85 = pg.locateOnScreen(f, region=(0, 0, 450, 970), confidence=0.8)
                    pg.moveTo(gb85)
                    t.sleep(0.1)
                    pg.click(gb85)
                except pg.ImageNotFoundException:
                    t.sleep(0.5)  
                else:
                    print('no image')
                    

            endm = ['new_mission_complete.png']
            for e in endm:
                try:
                    gb8 = pg.locateOnScreen(e, region=(0, 0, 450, 970), confidence=0.95)
                    print(gb8)
                    pg.moveTo(gb8)
                    t.sleep(0.3)
                    pg.click(gb8)
                    print('gb8nmc2')
                    y += 2
                    t.sleep(0.5)
                except pg.ImageNotFoundException:
                    t.sleep(0.5)  
                else:
                    print('no end image')
                      
                
            else:
                print(':(')

я даже смайлик оставил

[Vindicar]

037, поясню насчёт блобов/центроидов: templateMatch() выдаёт карту "похожести" частей скриншота на картинку, но эта самая похожесть убывает плавно по мере удаления от истинного расположения картинки на скриншоте. Так что простой порог (numpy.where), как у тебя, может выдать несколько близко расположенных срабатываний даже для одной копии картинки. В таких случаях обычно нужен ещё один шаг - нужно у этого "пятна" (блоба) похожести найти точку где-то посередине (центроид), и уже её рассматривать как позицию картинки.