Не совсем понял вопрос
Если внутри отображения, то у Rectangle есть свойство radius
А если надо само окно приложения сделать произвольной формы, то с QDeclarativeView можно поступить, как с обычным виджетом. Как в этом примере
doc.qt.nokia.com/4.7/widgets-shapedclock-shapedclock-cpp.html 
