К примеру- давайте повернем прямоугольник на 90градусов, ширина его будет 6, высота 4.
Так как известно , что точка вращения в центре - легко находим координаты деля ширину и высоту пополам
А(x, y) - Аx = 0(координата) - (6 / 2), Ау = 0 + (4 / 2) А(-3, 2)
В(x, y) - Вx = 0(координата) + (6 / 2), Ву = 0 + (4 / 2) В(3, 2)
С(x, y) - Сx = 0(координата) + (6 / 2), Су = 0 - (4 / 2) С(3, -2)
D(x, y) - Dx = 0(координата) - (6 / 2), Dy = 0 - (4 / 2) D(-3, -2)

Находим точку А после вращения
по Вашей формуле
Аx = -3 * cos90 - 2 * sin90 = -3 * 0 - 2 * 1 = -2
Ay = -3 * sin90 + 2 *cos90 = -3 * 1 + 2 * 0 = -3

A(x, y) = (-2, -3);

Те же действия проделываем со всеми точками, а цифры по возможности округляем