Векторное произведение двух векторов Va = {ax; ay; az} и Vb = {bx; by; bz} в декартовой системе координат - это вектор, значение которого можно вычислить по формуле: Vn = {ay*bz - az*by; az*bx - ax*bz; ax*by - ay*bx}
В вашем случае, если у вас есть 3 точки, принадлежащие плоскости
A = {x1; y1; c1}
B = {x2; y2; c2}
C = {x3; y3; c3}
то
ax = x2-x1
ay = y2-y1
az = z2-z1
bx = x3-x1
by = y3-y1
bz = z3-z1
ну а дальше просто подставляете эти значения в формулу выше)))
ЗЫ:остается лишь определится с направлением нормали, которое зависит от соглашения по выбору и предоставлению точек A,B,C, которое к слову вы тут не озвучили.
