Лично мой конфиг, как я пользуюсь когда надо граф стол
Ставлю debian\ubuntu minimal
Ставлю LXDE
Ставлю tightvnc server и использую :99 рабочий стол (да мне так удобно)
Ставлю сервер VNC в автозагрузку
Подключаюсь только по VNC к серверу, без всяких xRDP и этой мути(меня устраивает)
Открываю нужные входящие в фаерволле, остально всё закрываю. Доступ до ssh и VNC только с моего внешнего IP. Фаерволл - iptables