Объясню грубо
1. Если линии пересекаются, то нужно найти точки их пересечения. Затем(отталкиваясь от одной точки) проверить пересекаются ли между собой линии пересекающие первые две, принадлежащие нашей точке
![bccca39528ca4cc78552d74f44705ab2.png](//habrastorage.org/files/bcc/ca3/952/bccca39528ca4cc78552d74f44705ab2.png)
2. Раз у нас есть координаты вершин, мы можем рассчитать углы данной фигуры. Три угла или два противоположных = 90, значит прямоугольник + одинаковая длина рёбер - квадрат
По углам можно любую фигуру определить
Обращайтесь, если нужна помощь)