Как найти на экране кнопку и кликнуть по ней?

Question

[Дмитрий]

Подскажите как на Python 3.5 + OpenCV на изображении найти другое изображение и вывести если нет то нет если есть то сохранить и обвести совпадение и вывести что совпадение есть

Answer 1

[Владимир Куц]

Sikuli

На OpenCV
Кликаем по кнопке на экране. Изображение кнопки - в файле 'butt01.png':

import cv2
import time
import numpy as np
import pyscreenshot as ImageGrab
import pyautogui


def find_patt(image, patt, thres):
	img_grey = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
	(patt_H, patt_W) = patt.shape[:2]
	res = cv2.matchTemplate(img_grey, patt, cv2.TM_CCOEFF_NORMED)
	loc = np.where(res>thres)
	return patt_H, patt_W, zip(*loc[::-1])


if __name__ == '__main__':
	screenshot = ImageGrab.grab()
	img = np.array(screenshot.getdata(), dtype='uint8').reshape((screenshot.size[1],screenshot.size[0],3)) 

	patt = cv2.imread('butt01.png', 0)
	h,w,points = find_patt(img, patt, 0.60)
	if len(points)!=0:
		pyautogui.moveTo(points[0][0]+w/2, points[0][1]+h/2)
		pyautogui.click()

Comments

[Дмитрий]

прочитав бегло доки могу сказать что не подходит тк мне нужно под python 3.5

[Дмитрий]

падает с ошибкой на переменную points TypeError: object of type 'zip' has no len()

единственное скрин снимаю pyautogui а не предложенной вами

[Дмитрий]

разобрался спасибо

[Дмитрий]

кнопку не находит перемещается на полоску опыта

[Владимир Куц]

Дмитрий, поиграйтесь параметром thres в функции find_patt. Для моего примера 0.60 было вполне приемлемо для надежного поиска кнопки. В вашем случае, возможно, - нужен другой показатель.

[Дмитрий]

Владимир Куц, пробовал pyautogui он сначала находил кнопочку потом чото перестал непонятно почему он перестал делать это;( поиграюсь попробую

[Denis]

Дмитрий, Замените cv2.TM_CCOEFF_NORMED на cv2.TM_SQDIFF.

[Nejtron]

Дмитрий, как вы решили проблему с типом 'zip', не имеющим длины?

[Дмитрий]

Nejtron, решил отказом от cv2 и переписал все используя только pyautogui там я просто искал нужное изображение если оно есть получал координаты центра и кликал по нему, если нужен код чуть позже могу скинуть сюда

[Nejtron]

Дмитрий, код не нужен, спасибо. Я тоже с этим cv2 намаялся, сделал через locateCenterOnScreen)

[danilasherbak]

Дмитрий, можете скинуть код?

[Дмитрий]

danilasherbak,

import pyautogui
import time

# print(pyautogui.position())
i = 0
while True:
    time.sleep(5)
    pyautogui.keyDown('space')
    time.sleep(1.85)
    pyautogui.keyUp('space')
    time.sleep(3)
    x = 0
    while x != 40:
        pyautogui.keyDown('space')
        time.sleep(1)
        pyautogui.keyUp('space')
        x += 1
        continue
    pyautogui.keyDown('space')
    time.sleep(15)
    pyautogui.keyUp('space')
    print(i)
    i += 1
    if pyautogui.locateOnScreen('qwe.PNG') == None:
        continue
    else:
        pyautogui.click(x=168, y=674)
        pyautogui.click(pyautogui.locateCenterOnScreen('qwe.PNG')) # вот эта команда ищет заданный рисунок
        print('Опа Рыбка')
        continue

[danilasherbak]

Дмитрий, спасибо! Я нашел очень хорошую библиотеку, https://brokencode.io/how-to-easily-image-search-w..., посмотрите, очень интересно!

[Дмитрий]

danilasherbak, буду иметь ввиду. но сейчас мне этот скрипт не нужен, да и делал я его как бота для рыбалки

[uplink25]

Дмитрий, это происходит оттого, что zip в Python 3 возвращает zip объект, а не список. Достаточно обернуть всё функцией list и тогда работает.
return patt_H, patt_W, list(zip(*loc[::-1]))