Попробуй пойти в сторону задания вершин треугольников как координат в пространстве.
Тогда для каждого треугольника можно составить по три параметрических уравнения прямых, далее составить такую систему для каждого треугольника. В теории, если решить эту общую систему линейных уравнений можно как-то понять есть ли пересечения.
Попробуй двигаться в этом направлении:
www.cleverstudents.ru/line_and_plane/parametric_eq...
Решить можно методом жордана-гаусса, или как он там, не помню. Вообще я уже аналитическую геометрию забыл, но советую покопаться в ней, уверен там есть решение этой задачи.
Если я прав, то задача сведется к вычислению огромной матрицы.