tugo

На голом WinAPI рисовать свои контролы для красивого интерфейса - та еще проблема. Придется писать ООЧЕНЬ много кода. Из минимальных прослоек к WinAPI можно использовать WTL и MFC.
Для MFC есть ряд платных библиотек, упрощающий разработку UI и уже имеющие набор сильно кастомизированных контролов. Это, например, Codejock и BCGSoft.
Если все таки отказаться от низкоуровневого использования WinAPI то нестандартный пользовательский интерфейс можно реализовать с помощью WPF (на .NET), Sciter (UI движок, использующий HTML/CSS для отображения. Написан на с++, легко интерируется с С++, кроссплатформенный, бесплатный при использовании бинарников), QT(c++, есть язык разметки интерфейса QML).
Да, кстати, использование DirectX, OpenGL отношения к WinAPI не имеет.

RAII это оборачивание в класс некоторой "сырой" сущности. Сущность может быть любая, но с ней неудобно работать, потому что надо следить за созданием и уничтожением в программе. Например

class WinAPI32_Window
{
HWND hWnd = 0; // <--ресурс
public:
  WinAPI32_Window()
  {
    //100 строк для регистрации класса окна и создания окна
    hWnd = CreateWindow(/* много параметров */); // <--получаем ресурс

    if (!hWnd) throw std::system_error("win creation error"); // кидаем исключение в конструкторе, если окно не создается, то объект не создается тоже 
    ShowWindow(hWnd, nCmdShow);
    UpdateWindow(hWnd);
  }

  ~WinAPI32_Window()
  {
    DestroyWindow(hWnd);  // <-- освобождение ресурса
  }
}

//ну а дальше в программе:
try {
  auto win = new WinAPI32_Window; //создаем объект = инициализируем и получаем внутри hWnd
} catch //...
//работаем
delete win; //освобождаем ресурс путем удаления объекта

Можно написать плагин который ее вернет или просто привыкнуть, чего и вам желаю.

Кончено, можно учить сначала C++, потом Qt5 потом qml, но мне кажется что в одной книге это было бы удобнее.

Размером такая книга будет с войну и мир, так что не думаю, что она когда-нибудь появится.

Потому план такой:

• Берем любую книгу по С++, того же Шилдта например
  
• Берем любую книгу по Qt не ниже 4, того же Шлее например
  
• Берем примеры программ из стандартной поставки и смотрим их
  

Получится правильная общая картина, которая легко дополняется документацией и статьями. Вот еще хороший обзорный мануал: qmlbook.github.io

button - кнопка
line - строковое поле
browse - текст браузер

connect(button, SIGNAL(clicked()), this, SLOT(slotClicked())); // это устаревшая запись, используйте другую.

void slotClicked() {
    QString str = line->text();
    ///....
    browse->setText(str);
}

P.s. Почитайте Шлее, там все подробно описано

Пишу под Atmel на C и C++ (без stl) и разницы не вижу.

Откройте книжку Шлее на главе "Менеджеры компоновки". Вам нужна часть "Вложенные размещения". Лепите эскиз через Q*GridLayout.
Потом открываете все остальные части:
Менюшка слева может быть как QVGridLayout так и QToolBar/QToolBox. Справа лепите текстовое поле для поиска, кучку кнопок и QLabel. Кнопки "Все", звоночек, сердечко и кружек это радио-баттоны. Большой объект с картинками - QScrollArea, который оперирует QWidget'ами которые разделенны QGridLayout и внутри картинка и тексты.
Короче Шлее вы почитайте

Распишу основные плюсы и минусы архитектур, а финальный выбор - за вами.

Arduino / AVR
+ Очень низкий порог вхождения
+ Тонны документации и примеров, в т.ч. на русском
– Дорого
– Мощности хватает не на всё. Опрос десятка датчиков - нормально, а вот графический LCD, например, USB или камера - уже проблематично.
– Arduino IDE упрощает программирование ценой раздувания и замедления кода. Наверное, лучше сразу писать на чистом C/C++.

AVR32
+ Мощные
+ Легкий переход с архитектуры AVR (по крайней мере, так утверждает Atmel)
– Дорого
– Мало документации

STM32
+ На порядок мощнее AVR
+ Стоят столько же или даже меньше
+ Есть прекрасные отладочные платы (я про серию Discovery)
+ Вполне неплохо с документацией. Есть готовые руководства по "быстрому старту".
– Поддержка все-таки не такая широкая, как у AVR
– Архитектура сложна для начинающих. Это обратная сторона мощности, и тут нет ардуиноподобной обёртки, которая спасает от "выстрела себе в ногу".

Другие ARM Cortex M (например, LPC11xx)
+ На порядок мощнее AVR
+ Стоят столько же или даже меньше
– С документацией похуже, чем у STM32
– Как всякий ARM, сложны для начинающих

Raspberry Pi
+ Полноценный компьютер
+ Дешево за систему с такой производительностью
+ Можно поставить Linux и фигачить код на Питоне
– Чтобы использовать на все 100% и писать что-то низкоуровневое, нужно быть профи
– Доступен только как плата в сборе. Взять одно ядро и использовать в своей разработке? Забудьте.

Для настольных решений (Win, Mac, Linux) лучше чем Qt не найдёте, в связке с qml - вообще красиво можно сделать.
Для мобильных, если что-то не сильно сложное - Xamarin.Forms