хотелось бы поискать другого решения
Вынести эту систему на виртуальную машину. К виртуалке будете подключаться по RDP без проблем. Управлять виртуалкой можно и без RDP-подключения на хост. Тем более, что гипервизор может быть и вовсе не виндовый.
Вообще, утверждается, что RDP должен нормально работать на "безголовой" машине:
https://superuser.com/questions/1281612/looking-fo...
Может быть есть смысл посмотреть логи на сервере, чтобы понять причину.
В первую очередь выясните, стартует ли у вас в "безголовом" режиме TermService (Службы удаленных рабочих столов).