Предполагаю что сейчас на сервере стоит linux.
Для установки своего linux: Из загруженной системы устанавливаете в ОЗУ маленький дистрибутив наподобие minix, загружаетесь в него с помощью kexec. Переразмечаете диск, шифруете и прочее, ставите систему через deboostrap, настраиваете (Не забудьте ssh). Перезагружаетесь и вот у вас своя система.
Для установки своего windows (Не проверял на практике): Дома на виртуалке устанавливаете windows с максимально маленьким диском, настраиваете всё необходимое для работы на сервере, в том числе производите настроку сети и удаленного доступа. Диск обязательно должен быть в формате RAW. Из загруженной системы на сервере устанавливаете в ОЗУ маленький дистрибутив наподобие minix, загружаетесь в него с помощью kexec. Каким-то образом (Например из Яндекс.Диска по webdav) создаёте возможность получить доступ к ранее настроенному диску виртуальной машины. Через dd записываете этот образ поверх диска сервера. Перезагружаетесь.