Как подобрать библиотеки для имитации клика?

Question

[Adel Khalitov]

Доброго дня.
У меня есть задача, написать приложение в nodejs, которое будет выполнять следующие действия:
В свернутом состоянии желательно, примерный функционал (https://habr.com/ru/post/346258/)

1) Делать скриншот определенного окна в Windows, Linux итп.

2) Делать цветовые фильтры данного изображения, для того чтобы понять расположение какого то элемента

3) Рассчитать координату по этому фото

4) Эмитировать клик по заданным координатам, но при этом, чтобы мышь не была задействована (желательно чтобы клик был возможен при свернутом окне)

Возможно кто то сталкивался с такими задачами, накидайте библиотек. Буду благодарен.

Answer 1

[alfangur]

у меня была задача:
- получать скриншоты окон в виндовс
- передавать события мыши и клавиатуры в окна
- получать информацию об окнах

основная разработка была на нодажс, мост к винапи делал на отдельном приложении написаном на делфи, мост работает по стандартному вводу/выводу в формате джсон

под виндовс можно расширить функционал, под остальные ОС лежит заглушка так как с устройством остальных не разбирался да и потребность в других ОС мало у кого есть

если интересно могу поделиться

Comments

[Stalker_RED]

Не хотите этот "мост" выложить в опенсорц?

[Adel Khalitov]

Был бы благодарен)
Я не знаю, найду ли я время чтобы реализовать то, что я прочитал, но если найду будет интересно)

[alfangur]

я думал о публикации исходников и бинарников, но были дела с большим приоритетом.
поскольку есть хоть маленький интерес к этой библиотеки, то займусь ее публикацией.

перед публикацией хочу привести в порядок библиотеку:
- перенести проект на lazarus
- вынести полезный код в библиотеки-обертки
- решить вопрос с обвязкой импортируемых функций

позже оставлю здесь ссылки на npmjs и github