Во-первых, проверьте, что точка лежит внутри окружности (просто сравните расстояние до A).
Во-вторых, надо проверить, что точка лежит в секторе. Тут есть 2 варианта. Можно получить углы границ и направления на точку через арктангенс и сравнить, но там много частных случаев, особенно при переходе через 0. Альтернативный вариант - использовать вектора. Пусть искомая точка - P. Тогда вам надо проверить, что вектор AP дает с вектором AB угол меньше y. Можно найти косинус угла через скалярное произведение и потом сравнить его с косинусом y.
Вам надо, чтобы (AB,AP)/(|AB|*|AP|) >= cos y