Где-то с 7-8 раза можно адекватно зайти через RDP и спокойно работать на сервере. Проходит время и рдп работает нормально как ни в чем не бывало.
Вероятнее всего идет приличная атака на RDP.
Ваша попытка подключения просто теряется среди сотен других - сервер не успевает обработать.
Попробуйте для начала поменять 3389 порт на другой. Это конечно полумера, но может немного помочь.
А в идеале настройте port knocking или поднять RD Gateway.