я начал этим еще в классе 8 заниматься, и никакой аналитической геометрии там нет, а начал потому как учился программировать 3d графику, так что отсылки к вузу не очень иногда уместны
надо векторы проведенные из начала координат в точку начала/конца линии умножить на матрицу поворота
каждый из таких векторов
результирующие векторы будут указывать на начало и конец отрезка повернутого вокруг начала системмы координат (точки 0,0)
Если нужно вокруг любой другой точки, то сначала переносят отрезок так, чтоб точка поворота совпала с началом координат , потом сам поворот, затем обратно переносят. все это можно проделать с помощью матриц, причем можно вычислить одну матрицу сразу на 3 преобразования
гуглить про матрицы преобразования / программирование графики и читать азы
