Для работы под windows можно использовать pywinauto, который использует спец утилиту окон для распознавания названий различных кнопок, полей и прочих элементов UI, я на нем писал робота для автоматизации создания всяких штук в 1С (было весело), важно только, чтобы приложение, в котором вы хотите сидеть, было определенного бэкенда
docs pywinauto
PyAutoGui тоже можно использовать, но тот, насколько помню, использует координаты вашего монитора (если работаете за одним - можно все отладить достаточно быстро)
мышь будет мгновенно перемещаться к элементу, имейте ввиду, по отслеживанию этого ничего сказать не могу
для окон pywinauto просто прелестная библиотека, одна из лучших - советую