@Darnil

Как сделать поиск картинки с разным текстом на python?

Здравствуйте. Нужно в игре найти картинку и кликнуть на нее. Это я уже сделал через функцию pyautogui.locateOnScreen, так же пробовал через OpenCV, но там у меня не получилось задать точность и он очень часто ее не находит. Сейчас перешел к другому объекту, там текст в черной рамке, текст разный, бывает из 1, 2 и 3 слов и разной длины. Подскажите как это можно реализовать? Примеры картинок:
5f63f7f5ddb55697506433.png
5f63f7fb17769024121013.png
5f63f84e129f1880664275.png
Пробовал размазать текст в фотошопе и искать по такой картинке со сниженной точностью, но либо не находит, либо находит только оригинал, а подходим к другому входу с более длинной или короткой надписью и все, уже не опознает.
P.S. Смысл такой - бежим вторым окном за основным, перемещаясь по крестику на карте, когда пропал крестик - тыкаем на проход рядом, который обозначается только надписью, а подсвечивается только при наведении, не елозить же мышкой по всему экрану, пока не засветится проход.. Ну и там форма отличается, не уверен, что он будет всегда находить, хотя вариант, ток хз как правильно это сделать.. Свечение тупо белым цветом. При наведении мышкой на проход выглядит вот так:
5f63fa9bb966f975607886.png
Еще вариант, использовать tensorflow и обучить распознавать разные прямоугольники с текстом, только я не смог разобраться как предварительно обучить сеть и как подключить сеть к распознаванию и будет ли она успевать, хотя тут просто прямоугольник найти, а не сложный объект..
  • Вопрос задан
  • 252 просмотра
Пригласить эксперта
Ответы на вопрос 2
Применить:
1. Erode
2. Corner Detection

По полученным координатам выбрать те, которые ближе к центру изображения и составляют прямоугольник.
Затем
кликнуть на нее

Если я верно понял, определять текст не нужно. И тем проще.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы