Как раз этим и занимаюсь периодически последние лет 5. Терминалы удаленного доступа для работы на кластере серверов. Загрузка по сети, линукс и X, доступ по по ssh к кластеру. С проброской X-сессии. Гоняется opengl и не только, конструкторский и "архитектурный" софт в кластере.
Сейчас терминалы обновляем до debian9, пришлось писать свой display-manager для авторизации, о чем обязательно напишу на хабре. Проблема в том, что с переходом на systemd + logind, текущий lightdm утратил возможность запускать несколько копий на разных vtX :-(
Чтобы не ставить все зависимости, устанавливайте тлько xutils, glxutils и xorg. В настройках apt убирайте подтягивание рекомендованных пакетов.
Да, забыл добавить, файловая система на терминалы отдается по nfs в режиме для чтения, но было время, когда система стояла на флешках в 1-4 гига.