Почему pyautogui не работает на VPS?

Question

[Emil Revencu]

На VPS установлен скрипт который использует модуль pyautogui
При использовании функции pyautogui.locateCenterOnScreen выдаёт ошибку:

a = pyautogui.locateCenterOnScreen(iname, confidence =.7)
  File "C:\Python27\lib\site-packages\pyscreeze\__init__.py", line 295, in locateCenterOnScreen    
coords = locateOnScreen(image, **kwargs)
  File "C:\Python27\lib\site-packages\pyscreeze\__init__.py", line 265, in locateOnScreen
    screenshotIm = screenshot(region=None) # the locateAll() function must handle cropping to return accurate coordinates, so don't pass a region here.
  File "C:\Python27\lib\site-packages\pyscreeze\__init__.py", line 313, in _screenshot_win32
    im = ImageGrab.grab()
  File "C:\Python27\lib\site-packages\PIL\ImageGrab.py", line 41, in grab
    size, data = grabber()
IOError: screen grab failed

Если смотрю через RDP то никаких проблем. Как только закрываю RDP опять эта ошибка

Даже этот код не работает:

im1 = pyautogui.screenshot()
im1.save('my_screenshot.png')

Answer 1

[Александр]

Потому что когда закрывается сеанс RDP - винда прекращает обработку экрана - тоесть неоткуда сделать скриншот.
Вам нужно придумать другое решение для вашей задачи или обрабатывать отключения от RDP.

Предлагаю попробовать https://pywinauto.github.io/ который работает через опрос контролов в WinAPI - возможно он более подходит для задачи.

Comments

[Emil Revencu]

Но ведь код питона не на локальной машине. Код должен обработать экран тот что на виртуалке

[Emil Revencu]

Другими словами - как сделать скриншот на виртуальной машине (то есть код работает самостоятельно на VPS без подключения RDP)?

[stratosmi]

Emil Revencu, ОС нет, не важна?

[Emil Revencu]

stratosmi, WINDOWS SERVER 2012 (VPS)

[Александр]

Что непонятного в том что когда нет подключения винда не создает картинку для отображения - тоесть нечего скриншотить - буфера экрана не существует. Возможно если использовать 0 консоль и не RDP а VNC - который как раз и транслирует скриншоты - то будет работать - нулевая консоль будет постоянно активной независимо от наличия подключения. Также возможно надо использовать подключение по RDP из самого питона - вместо вызова функции скриншота: https://pypi.org/project/rdpy/1.2.1/ .

[Emil Revencu]

Александр, Задача у меня: на VPS в определённое время запускается десктопное приложение и установленный скрипт должен делать автоматизацию приложения. RDP тут не причём.

[Александр]

Значит нужно работать на уровне winAPI и отправки команд окну https://pywinauto.github.io/ .
От pyautogui придется отказаться или городить костыли чтобы была активной консоль: 0 консоль - физический дисплей, остальные это RDP подключения. Запускать программу в нулевой консоли или подключаться по RDP и запускать программу. Возможно изучить как работает RemoteApp(частный случай RDP)

Не буду лезть дальше, но это все потенциально неверные решения. Возможно питон сам может работать этой программой - без графической прослойки. Просто написание необходимого кода более сложное и долгое нежели тыкать кнопочки в готовой программе.

[Василий Рябов]

Если используется распознавание картинок, значит с получением текста всё грустно, видимо. Кроме Win32 API pywinauto ещё умеет UI Automation API (это которое Inspect.exe использует). Если оба API не годятся, то да: распознавание картинок - последний бастион автоматизатора.

Answer 2

[Василий Рябов]

Может вот это поможет: Remote Execution Guide из доков по pywinauto, но многие вещи универсальны для всех видов GUI automation. Если вкратце:

1. Можно настроить винду так, чтобы при отключении RDP активный рабочий стол сохранялся.
2. Можно перейти на VNC server.
3. Нельзя из-под сервиса скедулить GUI related задачи. Есть пример для Ansible и psexec, а также для встроенного Windows Scheduler.

Comments

[Emil Revencu]

Мне не нужен RDP. Мне нужно чтобы скрипт работал на VPS.
Старт по scheduler.