Гуглить "соотношения сторон в прямоугольном треугольнике".
Обычно такую задачу решают не через координаты точек, а через длины отрезков, но одно в другое легко переводится.
RADE95, То, что AC - это обозначение длины отрезка. А вы его превратили в две переменные, которые разнесли по двум сторонам уравнения. К тому же не правильно.
Вообще, если честно, то условие вообще не понятно! Что значит "найти С"? Найти координаты этой точки? Тогда не понятно где начало координат? Хотя, предполагаю что нужно использовать информацию об известных А и В.
Если принять что рисунок - это часть условия и треугольник действительно прямоугольный, то можно задачку решить через вектора (при условии что под "Известно А" и "Известно В" подразумевается что известны именно координаты x и y этих точек).
Найдите не AC, а CB. А дальше зная координаты B и A (а следовательно и уравнение прямой AB) - ищите "точку на расстоянии от B", где расстояние равно CB.
Можно и через AC. Сначала находите AC. Потом ищете X, который лежит на прямой AB на расстоянии (равном AC) от точки A. И потом этот X поворачиваете на a относительно A.
В общем вариантов много. Термины вам даны - потрудитесь дальше сами
RADE95, Стопе. Vector2? Вы в Unity это решить пытаетесь? Или таки задача по геометрии? Если в юнити - так добавьте ее в теги! Там инструментов много для этого дела!