хотелось бы поискать другого решения
Вынести эту систему на виртуальную машину. К виртуалке будете подключаться по RDP без проблем. Управлять виртуалкой можно и без RDP-подключения на хост. Тем более, что гипервизор может быть и вовсе не виндовый.
Может быть есть смысл посмотреть логи на сервере, чтобы понять причину.
В первую очередь выясните, стартует ли у вас в "безголовом" режиме TermService (Службы удаленных рабочих столов).