Объясню грубо
1. Если линии пересекаются, то нужно найти точки их пересечения. Затем(отталкиваясь от одной точки) проверить пересекаются ли между собой линии пересекающие первые две, принадлежащие нашей точке

2. Раз у нас есть координаты вершин, мы можем рассчитать углы данной фигуры. Три угла или два противоположных = 90, значит прямоугольник + одинаковая длина рёбер - квадрат
По углам можно любую фигуру определить
Обращайтесь, если нужна помощь)