Чтобы перейти от пикселей к метрам, надо вычислить площадь фигуры в квадратных пикселях. Проще всего это делать по формуле трапеций.
Для каждой стороны надо вычислить площадь трапеции OX — x=xA — AB — x=xB, с плюсом или минусом. Насколько я помню, она равна 0,5(yA + yB)·(xA − xB). Если все сложить и взять абсолютную величину, получится площадь.
Тогда масштабный коэффициент будет sqrt(Spx / Sм).