sudo apt install xinit --no-install-recommends - не потащит за собой рекомендуемые пакеты.
sudo apt install xinit --no-install-recommends --no-install-suggests - не потащит с собой вообще почти ничего:) (кроме, конечно, того, без чего xinit не заработает)
Вообще, если бы у меня была Pi, то скорее всего, я бы глядел в сторону удалённого управления (X11vnc например) - там КАЖЕТСЯ (но это не точно) не нужно ничего, кроме xserver-xorg, x11vnc и какого-нибудь окружения типа i3, чтобы всё было красиво и управлялось по локальной сети.