Проще всего сначала найти прямую, по которой пересекаются плоскости, содержащие треугольники (плоскость как раз определяется тремя точками). Задача стандартная, пояндекси. Возможен вариант, что плоскости параллельны, тогда пересечения нет. Ещё частный кейс, когда плоскости совпадают. Тогда пересечением треугольников может быть не прямая, а некоторый многоугольник.
Далее выяснить, как эта прямая пересекает оба треугольника, т.е. найти два отрезка, тоже стандартная задача. Если прямая не пересекает какой-то из этих треугольников, то треугольники не пересекаются.
Ну и последний, самый простой штрих - общая часть этих двух отрезков. Её, кстати, может не оказаться, это значит, треугольники не пересекаются.