Дожили!
Вообще-то
только 2 из распространенных ОС - обязательно с графическим интерфейсом пользователя. Это Windows и MacOSX. Они вообще единственные где GUI (графический интерфейс пользователя) изначально обязателен.
Разработчикам Windows, кстати, пришлось специально прилагать недюженные усилия, чтобы получить версии, где нет такового интерфейса. Это т.н. Windows Server Core.
https://habrahabr.ru/post/138786/
Все же прочие *nix - Linux, *BSD, Solaris и пр. -
изначально не обладают графическим интерфейсом пользователя. В них он организован как запуск отдельной программы - она называется "Сервер X11". Отключить эту программу - элементарно. И - упс - больше у вас нет графического интерфейса пользователя.
Ну и как правильно заметили - *nix в ряде дистрибутивов включение X11 выбирается на этапе установки. Для серверов её не включают.
Для дистрибутивов, предназначенных для серверов, напротив, изначально нет графического интерфейса. Если захочется включить - придется ставить и включать X11 отдельно.