В X сервер и клиентское приложение могут быть на разных хостах. По умолчанию, X сервер и клиент крутятся на одном хосте, что позволяет обрабатывать изображение с помощью видеоускорителя, но можно поднять X сервер на другом компьютере и работать через сокеты/пайпы (если между хостом и гостем на сервере виртуализации) или через TCP/IP. Есть SSH X Forwarding.
А можно ли подобное провернуть с Wayland?