Я думаю искомая точка будет вычисляться исходя из min(PA, PN, PB), где PA - расстояние от точки P до точки А (начала дуги), PB - расстояние от точки P до точки B (конца дуги), PN - расстояние от точки P до дуги по нормали (перпендикуляра, опущенного из точки P на дугу), если он существует