Если я правильно понял посмотрев на Radiant Player - вас интересует кастомизация оформления окна приложения. И как уже было сказано выше - это действительно можно реализовать на том что вы перечислили и даже более.
Я не эксперт в том что касается C/C++, но однозначно могу сказать что на Java это реализуется достаточно просто как на Swing, так и на Java FX, который сейчас набирает популярность.
Непосредственно изменить нативное оформление не выйдет, но можно без проблем создать своё предварительно убрав нативное. Далее рисуете средствами языка любое оформление, которое вам по вкусу или же используете предзаготовленную графику - тут уже как вам нравится. К примеру скопировать оформление окна Radiant Player займёт минут 5-10, если конечно вы знакомы со Swing и Graphics2D. На Java FX это займёт примерно столько же.
Я занимаюсь написанием своей open-source Look & Feel библиотеки для Swing фреймворка - WebLaF - если вы решите смотреть в сторону Swing, то можете покопаться в открытых
исходниках этой библиотеки. Там есть реализация кастомной декорации окна со всякими плюшками, которую видно на скриншоте на первой странице GitHub проекта. Если говорить более точно - основная часть оформления находится в реализации
RootPaneUI. При желании само визуальное оформление можно без проблем видоизменить.
