Можно установить серверную версию, установить на нее xfce и почистить от серверных приложений, которые не планируется использовать.
Либо установить обычную Ubuntu и почистить от приложений, которые не планируется использовать.
Имхо, трудозатраты примерно одни и те же.