Чтобы стилизировать рамку, нужно в стиле окна убрать ту, которая предоставляется операционной системой, и написать свою с желаемым функционалом. Для закругления, например, используется фоновое изображение с прозрачностью (при этом нужно эту прозрачность включить и для окна).
