A - начало дуги, B - конец дуги, C - искомый центр.
длина AC = длина BC = R (известно);
длину AB вычисляем по теореме Пифагора;
таким образом, имеем длины всех сторон треугольника ABC;
по теореме синусов (и по сумме углов) вычисляем все углы треугольника;
зная угол A, как угол пересечения прямых AB и AC, зная координаты точки A, а также зная уравнение прямой AB, легко построить уравнение прямой AC; остаётся отмерить вектор длиной R вдоль этой прямой, чтобы получить координаты точки C.
Ещё один вариант - после вычисления всех углов перейти в полярную систему координат с центром A, сложить (с учётом знаков) угол A с коэффициентом наклона прямой AB и сразу получить полярные координаты точки C (ведь R известен); затем обратно перейти в декартову систему координат.