Четырехугольник вырожденный, если его площадь равна нулю.
Для четырехугольника это будет выполняться если все вершины лежат на одной прямой.
Чтобы выяснить, что вершины лежат на одной прямой можно воспользоваться скалярным произведением векторов,
построенных на вершинах. Скалярное произведение двух параллельных векторов равно единице, это и значит в нашем случае, что вершины лежат на одной прямой.
Например так:
vAB.x=b.X-a.X
vAB.y=b.Y-a.Y
vAC.x=c.X-a.X
vAC.y=c.Y-a.Y
vAD.x=d.X-a.X
vAD.y=d.Y-a.Y
Теперь находим скалярное произведение векторов vAB*vAС и vAB*vAD, если оба равны единице, то четырехугольник вырожденный.
Найти скалярное произведение от координат векторов можно так:
s(v1, v2) = (v1.x*v2.x+v1.y*v2.y)/(sqrt(v1.x*v1.x+v1.y*v1.y)*sqrt(v2.x*v2.x+v2.y*v2.y))
Либо второй вариант, можно пойти от уравнения прямой:
(b.x-a.x)/(b.y-a.y)=(c.x-a.x)/(c.y-a.y)=(d.x-a.x)/(d.y-a.y)=t
и тут, чтобы уйти от деления можно так переписать уравнение:
(b.x-a.x)*(c.y-a.y) =(c.x-a.x)*(b.y-a.y)
(b.x-a.x)*(d.y-a.y) =(d.x-a.x)*(b.y-a.y)
Если оба равенства выполняются, то четырехугольник вырожденный