Как получить координаты (x,y) элемента (кнопки) открытой программы exe средствами Java?

Question

[SergMC]

Здравствуйте. Делаю программу на Java. Хочу реализовать имитацию нажатия на кнопку открытой программы.

На скриншоте видна сама программа. Задача: программно нажать на кнопку Войти. Нашёл уже костыль:

package ru.first;

import java.awt.event.*;
import java.awt.Robot;
public class test {
 public static void main(String args[]) {
  Robot bot = null;
  try {
   bot = new Robot();
  } catch (Exception failed) {
   System.err.println("Failed instantiating Robot: " + failed);
  }
  int mask = InputEvent.BUTTON1_MASK;
  bot.mouseMove(x, y);
  bot.mousePress(mask);
  bot.mouseRelease(mask);
 }
}

Суть кода - нажать на кнопку мыши по заданным координатам. Всё что нужно: получить координаты элемента открытой программы exe. Элемент - кнопка Войти (на скриншоте). Каким образом это можно сделать?

Answer 1

[Satangelus]

Координаты кнопки имхо можно определить так:
1. Самый простой способ посчитать пикселами от края окна. А координаты окна, получать через винапи, получая hwnd нужного процесса, а уже от него вызывать функцию определения координат окна.
2. Сложный через тернии к звездам. Сначала получаем hwnd активного окна процесса. А дальше магия. Все видимые оконные элементы в системе региструют "оконный класс". То есть через hwnd окна можно получить список дочерних "окон" и уже по этому списку разбираться, где в списке нужная нам кнопка.

Нажать кнопку.
1. Проще сдвинуть мышку в клиентских координатах и кликнуть.
2. Если кнопка может появляться в разных местах окна, имитируем переход по элементам окна посылкой нажатия ТАБ и потом посылаем ЕНТЕР.