Какую библиотеку Python использовать для управления приложениями?

Question

[frendri]

Подскажите библиотеку для управления приложениями. Допустим для телеграмма. Чтобы он вступал в канал бота, жал кнопки, реагировал на ответ.
Еще не знаю какой библиотекой пользоваться для SDA. На первой картинке библиотека pywinauto распознает кнопки приложения и работает корректно. После того как мой софт нажимает Viev Confirmations, открывается новое окно Здесь он уже не распознает текст, т.к. это не кнопки винды, а браузер. Как мне реализовать, чтобы он кликал не по координатам, а исходя из данных.

Comments

[Andy_U]

Еще не знаю какой библиотекой пользоваться

Прошу прощения, но мне почему-то кажется, что Вы еще не понимаете, что не знаете намного более фундаментальных вещей. А без этого, увы, никак.

[Василий Рябов]

Какой backend используете при создании Application() объекта? Может Application(backend="uia") попробовать? Опять же какой output у метода .dump_tree()? Именно куски кода и детали в текстовом виде делают любой вопрос легче. Гадать на кофейной гуще не приходится.

Answer 1

[Nurbol Suleimenov]

frendri, используй pywinauto или более высокоуровневый pyautogui

Вот статья с Хабра на русском.
Будут сложности, пиши в комментарии, отвечу. Прежде чем задавать вопросы, прочтие статьи
в интернете и конечно официальный сайт библиотеки, попробуйте написать что нибудь.
Если будете использовать pywinauto, то неизбежно придется по минимуму изучить
устройство Windows программ. pyautogui должен быть менее требователен по квалификации,
но так скажем "более толстая" библиотека.

P.S. Со своего опыта могу сказать: нужно было автоматизировать нажатие в программе написаной
на FoxPro для создания отчетов. Использовал pywinauto. Большинство действии без проблем сделал,
но некоторые действия не давались из за того, что не мог узнать идентификаторы некоторых кнопок.
Выкрутился отправляя нужное количество нажатии на TAB для переключения на нужную кнопку и
SPACE для нажатие. Есть и более хипстерский способ, использовать распознавание по контрольной
картинке элемента окна (pyautogui), но его не приходилось использовать

Comments

[frendri]

К сожалению тут не получится через таб. Окно с подтверждениями является браузером хром. Я не знаю что делать, кроме координат(

[Nurbol Suleimenov]

Вот код из официальной документации. Поможет найти координаты кнопки по ее картинке, и нажать по середине кнопки

>>> import pyautogui
    >>> button7location = pyautogui.locateOnScreen('button.png') # returns (left, top, width, height) of matching region
    >>> button7location
    (1416, 562, 50, 41)
    >>> buttonx, buttony = pyautogui.center(button7location)
    >>> buttonx, buttony
    (1441, 582)
    >>> pyautogui.click(buttonx, buttony)  # clicks the center of where the button was found

[Samuelino]

Nurbol Suleimenov, спасибо!