Если получится решить такую ситсему (она несколько упрощена в части внутренних параметров камеры: фокус, главная точка и прочее, но по сути то же самое), то
результатом будут значения мировых координат 3-х точек маркера в системе отчета привязанной к камере.
Для решения моей задачи далее нужно будет сменить базис: начало координат перенести в одну из этих точек, оси развернуть по катетам треугольника. Иначе говоря нужно найти матрицу евклидова преобразования. Тоесть опять решить систему уравнений.
3 точки не дадут достаточного кол-ва уравнений для ее решения.
Исходная приведенная система уравнений с треугольником нелинейная и по мне так не факт, что она решится.