Вся математика описана здесь:
https://math.stackexchange.com/a/339033
Там же есть и proof-of-concept
https://jsfiddle.net/dFrHS/1/
Можно воспользоваться этим фидлом чтобы посчитать матрицу трансформации. Для этого берем координаты углов полигона и его размеры и подставляем в переменную
corners (ширину и высоту задаем через CSS).
Затем через инструменты разработчика смотрим примененную
transform: matrix3d
Можно пойти дальше и попробовать получить угол поворота из матрицы
How to extract euler angles from transformation matrix, а можно не замарачиваться и использовать
transform: matrix3d как есть.
