В C++ нет штатных средств создания GUI. Это универсальный язык.
"Штатные средства" - обертки над системными вызовами, описание интерфейсов ОС может быть нужно для написания таких новых оберток.
Crypted = message ^ e mod n, вам достаточно операций возведения в степень и модуля. Обычно есть готовая modexp. И если вам не по зубам Crypto++ - посмотрите на OpenSSL.
Сначала освойте язык и средства разработки, потом - библиотеки. Что толку вам от "курсов", в которых будет использоваться библиотека, которую вы не сможете собрать и подключить?
Да. Выделяете память, копируете в нее DLL с перемещением секций как это делает загрузчик, потом импорты-экспорты-релоки правите... В общем, нужно писать собственный загрузчик.