Как найти объект на картинке?

Question

[aab137]

Есть картинка

Необходимо получить


Простое кадрирование - не вариант, т.к. положение "штуки с текстом" может измениться.

Answer 1

[Талян]

Вот здесь https://habr.com/ru/post/346258/ отличная реализация вашей хотелки - берется паттерн (в вашем случае это может быть участок окошка "Информация о полете", вычисляется его координата, и дальше - работа с самими данными.

Вот конкретно участок кода, ищущий по паттерну здоровье у монстра:

def get_targeted_hp(self):
        """
        return victim's hp
        or -1 if there is no target
        """

    

        img = get_screen(
            self.window_info["x"],
            self.window_info["y"],
            self.window_info["x"] + self.window_info["width"],
            self.window_info["y"] + self.window_info["height"] - 190
        )

        img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

        template = cv2.imread('img/target_bar.png', 0)
        # w, h = template.shape[::-1]

        res = cv2.matchTemplate(img_gray, template, cv2.TM_CCOEFF_NORMED)
        threshold = 0.8
        loc = np.where(res >= threshold)
        if count_nonzero(loc) == 2:
            for pt in zip(*loc[::-1]):
                target_widget_coordinates = {"x": pt[0], "y": pt[1]}
                # cv2.rectangle(img, pt, (pt[0] + w, pt[1] + h), (255, 255, 255), 2)

        if not target_widget_coordinates:
            return -1
        else:
            return target_widget_coordinates

соответственно переделайте под себя размеры рамки, и саму картинку паттерна - Profit!

Comments

[aab137]

не дочитал я эту статью в тот раз))

[Талян]

aab137, зря, я благодаря неё хотя бы пощупал, что такое питон, numpy и opencv, ну и ботом побегал - интересно валяться на диване, и наблюдать, как по написанной логике бегают твои персонажи, и кого-то там мутузят =)

[aab137]

Анатолий Цивилёв, только не совсем понятен код

threshold = 0.8
        loc = np.where(res >= threshold)
        if count_nonzero(loc) == 2:
            for pt in zip(*loc[::-1]):
                target_widget_coordinates = {"x": pt[0], "y": pt[1]}

[Талян]

aab137, res это матрица из значений, отражающих степень схожести наложения друг на друга матрицы исходного изображения и искомого. Thresold - допуск помех.

А если вы про zip- то я не вспомню сейчас. А с телефона гуглить не удобно совсем(

[aab137]

С шаблоном ничего не вышло, пришлось зафиксировать окно с данными в углу