Итак, давайте разберемся для порядка.
Чтобы скруглить углы именно у
Rectangular Marquuee tool, которым делается выделение, нужно создать прямоугольную область и затем выбрать
Menu - Select - Modify - Smooth и указать радиус скругления.
Если же говорить о
Rectangle Tool, о котором писали многие комментаторы, то это делается в настройках объекта. Например, после создания прямоугольника в панели
Properties.
В Figme скругления у объектов задаются в боковой панели, она расположена всегда в одном месте.