Ок
У нас есть окружность с известным радиусом, на ней есть два угла, образующих сектор между ними
Серьезно? у Вас углы на окружности? Как вообще соотносятся цифры слева с картинкой справа?
Как понял я: есть два не совпадающих отрезка, с началом в начале координат и концами на окружности. Между отрезками образуется сектор (их образуется два, к Вашему сведению, так что определитесь какой именно сектор мы ищем - больший или меньший, какой из равных, если два сектора равны). Вам известны полярные координаты концов этих отрезков. Если Вы не знаете что такое полярные координаты, то на минуточку - Вы в интернете - беретесь решать такую задачу - потрудитесь выяснить! Не ждите, что Вам тут объяснят школьную геометрию!
Далее, зная координаты отрезков в полярной системе координат (ПСК) и координаты точки в декартовой (прямоугольной) системе координат (ДСК)- или переводите первые во вторые, или наоборот. Советую использовать ПСК. Получаете значение радиуса и угла. Радиус уже может дать ответ, так как если радиус больше радиуса окружности, то точке вне окружности. Получив угол - сравниваете значение - оно должно лежать между двумя углами.
Если не знаете, как перевести ДСК в ПСК - см. выше, у Вас в руках все знания мира.