Как получить упорядоченный список элементов графического интерфейса внешнего приложения на c#?

Question

[mauser128]

Я взялся за написание аналога приложения Selenium для виндовс и столкнулся с такой проблемой: как получить необходимый мне элемент GUI внешнего приложения? То есть моя программа запускает внешний .exe файл, отслеживает его и производит без участия пользователя в открывшемся приложении всякие манипуляции по типу: нажми кнопку x, введи текст в поле Y, выбери пункт меню Z. Но я никак не могу понять, каким образом мне получить эти X, Y, и Z?

Comments

[VoidVolker]

О, добро пожаловать в мир автоматизации Windows приложений! Смотрите nnCron (опенсорс, между прочим), AutoIt, SignOfMisery + WindowScanner от того же автора (заброшено, сайт мёртв, но реализация интересная - есть прикольные и полезные фичи) и ещё миллион других автоматизаторов. Работа с WinAPI и оконной системой винды - это практически мастхэв для любого автоматизатор. Отмирающая и дергающаяся в последних судорогах часть винды - увы, сегодня очень многие приложения отказались от этого и для большинства приложений оно уже бесполезно. Зато есть куча новых, красивых и полированных костылей =)

[Inviz Custos]

А еще некоторые приложения могут активно сопротивляться такой автоматизации)

Answer 1

[Hemul GM]

Только приложения использующие winapi контролы позволяют отследить эти самые контролы. А это далеко не все приложения. И чем современнее приложение, тем меньше шансов, что контролы в этом приложении используются из winapi.
А если контролы не winapi, то никаким образом ты не получишь контрол, если приложение само не позволяет как-то давать доступ к интерфейсу.

Comments

[mauser128]

спасибо, теперь всё понял. Буду запихивать всё в трай-кетч, на случай отказа в доступе. Может, подскажите где можно подробнее почитать про Вин-апи, и что именно из него портировать?

[Hemul GM]

mauser128, нет никакого отказа в доступе. Речь о том, что контролов не существует вне приложения. Это именно Windows позволяет получать доступ к контролам (повторяю, если приложение использует эти контролы) через winapi. Всё что винда видит в приложениях, которые НЕ используют её контролы - это только само окно. А контролы в таких приложениях - это просто рисунок, картинка на холсте. И собственные классы (в лучшем случае).

В винде всё есть "окно". По этому ОС так и называется. Каждый нативный контрол в ОС - это окно, которое может быть дочерним для другого окна. Через winapi ты можешь запросить список дочерних окон у любого окна. Почти всегда дочерние окна нативного приложения - это контролы. Поэтому получить их не составляет никакого труда. А вот работать с ними уже сложнее. Но это вообще всё работает ТОЛЬКО ЕСЛИ КОНТРОЛЫ НАТИВНЫЕ. Таких приложений сейчас всё меньше. Например, в приложении Телеграм нет нативных контролов, и ты никак не сможешь получить к ним доступ. Там свои контролы.

А для работы с winapi гугли MSDN.

[mauser128]

даже так.... Спасибо, что открыл мне глаза!

Answer 2

[Максим К]

Искать координаты окна, заголовки окон искать через api windows. Дальше как кликер. Была софтина spy++ для этого, сейчас даже не знаю есть ли она.

Comments

[mauser128]

беда в том, что элементы могут быть где угодно, приложение делается не для конкретной задачи, а как некий комбайн. Задумка классная, но когда ты не можешь заранее сказать что именно через эту прогу будут тестировать и как будут тестировать, увы не подходит

[ryzhpolsos]

mauser128, комбайн, увы, простым путём не получится - далеко не все приложения используют контролы винды. В качестве альтернативы могут предложить лишь визуальное сравнение - в программу загружается изображение кнопки, она делает скриншот окна и ищет по загруженному ранее изображению координаты нужной кнопки, после чего отправляет окну сообщение WM_CLICK (но там тоже не всё так просто) с координатами.

[mauser128]

значит, буду вводить ограничения на типы приложений. (благо это не коммерция, а личная шиза)