Нет понимания как происходит подключение.
- Если в локальной сети - проверьте коммутатор
- Если из внешней сети, то проверить загрузку роутера, может у него процессор чем-то загружен. Попробовать приоритеты трафика настроить.
- Еще как вариант отключить RDP по UDP на сервере, и проверить как будет работать по TCP (у меня однажды из-за этого некоторые клиенты в локальной сети отваливались каждую минуту).
