Для canvas слоя задать css свойства border-radius: X% или использовать квадратичную кривую безье - метод для рисование такой кривой встроен, называется quadraticCurveTo.
fillRect-ом скруглять не вариант, просто потому, что он не скругляет.
а просто внутреннюю часть закрасить не вариант?