Слой с кругом (векторный или растровый — не важно) должен находиться сразу под слоем с фотографией в иерархии слоёв. После этого в окне с перечнем слоёв кликаем по картинке правой кнопкой мыши, и выбираем пункт "Create Clipping Mask". Всё. Теперь Ваш слой с кругом — маска для слоя с фотографией.
Удерживая CTRL (CMD на Маке), кликните на значке (до названия) слоя с кругом → выберите слой с изображением (фотографией) → нажмите "Add layer mask" (иконка выглядит как прямоугольник с кружком внутри, находится в нижней части сайдбара под всеми слоями).