IP определяются обычным перебором. При отправке на порт RDP нужного запроса, злоумышленник получает hello от сервиса. Дальше - брутфорс логина и пароля. Возможно логин и пароль подслушивают сетевым сниффером в общедоступных сетях. Бывают определённые 0-day уязвимости, которые позволяют зайти, выполнив специальный запрос. Если хотите подробностей - откройте у себя сниффер входящих запросов на RDP порту. Посмотрите - какие запросы к Вам приходят, какие методы при этом используются. Будет интересно )