1) Строим из точки A окружность с радиусом AC
(x-xA)^2 + (y-yA)^2 = R^2 = AC^2
2) Строим из точки B окружность с радиусом BC
(x-xB)^2 + (y-yB)^2 = R^2 = BC^2
3) Решаем систему уравнений, получаем 0(пересечений нет), 1(пересечение в одной точке, касание) или 2 действительных корня(пересечение в 2х точках). Это и есть возможные варианты точки C.
Можно найти x, а потом подставить в любое из уравнений и получить y, или же наоборот.