Как вычислить географические координаты объекта на панорамной фотогрфии?

Question

[Azat2015]

Есть задача вычисления географических координат объекта, обнаруженного компьютерным зрением на панорамной фотографии.

Из исходных данных - панорамные фотографии, снятые через небольшие (секунды) промежутки времени с координатами в exif (коордианты могут быть в том числе RTK, то есть с точностью в сантиметры).
Высота положения камеры известна.
Скорость движения камеры не постоянная.
Компаса в камере и в exif нет.
Азимут камеры во время съемки случайным образом меняется (поворачивается относительно севера, относительно предыдущей фотографии).
Задача - из этих данных выяснить координаты объектов, распознанных на фото.

Кажется задача определения координат решается только с помощью увеличения частоты снимков. Тогда можно допустим определять на двух соседних снимках две пары объектов, отсюда по азимутам между этих объектов на разных фото и координатам соседних фотографий вычислять направление севера, зная направление севера, и смещение азимута объекта на двух соседних фотографиях, вычислять координаты объекта.

Может быть есть способ проще?

Есть конечно вариант с фотограмметрией - создавать на основе панорамных фото 3д модель пространства, находить в ней объекты нужной формы и соответствующие им координаты. Но по ощущениям это избыточно, а в плане разницы потребления ресурсов - вообще не вариант.

Answer 1

[hint000]

Из исходных данных - панорамные фотографии, снятые через небольшие (секунды) промежутки времени с координатами в exif

Координаты чего? Самой камеры? При том, что камера постоянно накодится в одной точке и эти координаты на всех фотографиях одинаковые?

отсюда по азимутам между этих объектов на разных фото и координатам соседних фотографий вычислять направление севера

Откуда возьмёте азимуты, если компаса нет?
Панорама круговая (на 360 градусов)? Если да, то вы только сможете вычислить, сколько пикселей составляют какой угол, а на основе этого вычислить углы между объектами (но не азимуты объектов). И всё равно линейные расстояния будут неизвестны. Если панорама меньше, чем на 360 градусов, то даже для вычисления углов между объектами не будет данных.

В любом случае потребуется как минимум одно калибровочное фото, для которого будет известно: 1) точный азимут на объект, 2) точное расстояние от камеры до объекта, 3) точные размеры объекта (высота или ширина). Тогда уже можно вычислять. Без этого исходных данных просто нет.
И это ещё при отсутствии дисторсии у оптики камеры. А при наличии дисторсии потребуются точные данные о нескольких объектах в калибровочном кадре, чтобы можно было вычислить и в дальнейшем как-то учитывать дисторсию.

Comments

[Azat2015]

Координаты чего? Самой камеры? При том, что камера постоянно накодится в одной точке и эти координаты на всех фотографиях одинаковые?

Ну в exif хранятся координаты камеры в момент съемки, да.
Почему в одной точке? Вроде, написал, что "скорость движения камеры не постоянная", значит движется.

Откуда возьмёте азимуты, если компаса нет?

Рассчитаю. В этом и был вопрос. Будут азимуты - будут коордианты объектов.
Как думаете геодезисты создают 3д модели площадей с помощью фотограмметрии? Фоткают компас и потом поворачивают фотки?)

В любом случае потребуется как минимум одно калибровочное фото, для которого будет известно: 1) точный азимут на объект, 2) точное расстояние от камеры до объекта, 3) точные размеры объекта (высота или ширина). Тогда уже можно вычислять. Без этого исходных данных просто нет.

Это не так. Если есть координаты двух соседних панорамных фото, для каждой из этих фото вычислен угол между двумя одними и теми же точками (определенными с помощью комп зрения например), то можно вычислить азимут и как следствие коордианты нужного объекта, который есть на обоих фото.
Но полагаться на распознавание объектов для определния азимутов как-то не хочется.

[hint000]

Azat2015,

Вроде, написал, что "скорость движения камеры не постоянная", значит движется.

Я предполагал, что под движением понимается поворот (тоже ведь движение). Ok, теперь понял.

Рассчитаю

У вас недостаточно исходных данных для рассчётов.

Как думаете геодезисты создают 3д модели площадей с помощью фотограмметрии? Фоткают компас и потом поворачивают фотки?)

По классике геодезисты используют теодолит с дальномером и буссолью. Таким образом определяют азимуты, расстояния, горизонтальные и вертикальные углы между объектами. Куча цифр.
Что касается фотограмметрии,
https://ru.wikipedia.org/wiki/Фотограмметрия

На схеме показаны четыре основных типа данных, которые могут быть как входными, так и выходными при производстве фотограмметрических работ:

• пространственные координаты определяют положение точек объекта в пространстве;
  
• координаты на фотографии определяют положения точек объекта на аналоговом или цифровом снимке;
  
• элементы внешнего ориентирования фотоаппарата определяют его положение в пространстве и направление съёмки;
  
• элементы внутреннего ориентирования определяют геометрические характеристики процесса съёмки.

К элементам внешнего ориентирования относятся трёхмерные координаты центра проекции, продольный и поперечный углы наклона снимка и угол поворота.

К элементам внутреннего ориентирования относятся, в первую очередь, фокусное расстояние объектива (хотя может учитываться и характер искажений, вносимых при съёмке: например, дисторсия объектива, деформация фотоматериала и пр.) и двухмерные координаты главной точки.

Дополнительные наблюдения помогают точнее определять расстояния и координаты точек объекта, а также уточнять масштабы и саму систему координат.

Из всего перечисленного, что используется при фотограмметрии у вас есть только один пункт: положение фотоаппарата в пространстве (но не направление съёмки).

для каждой из этих фото вычислен угол между двумя одними и теми же точками (определенными с помощью комп зрения например)

В том и дело, что машинное зрение может использовать для этого характерные размеры знакомых объектов (человек, автомобиль, опора ЛЭП, линии разметки на дороге и т.п.). К этому нужно добавить известное фокусное расстояние объектива, размеры матрицы и разрешение матрицы. Тода можно вычислить расстояние до объекта, но с достаточно большой погрешностью, т.к. машинное зрение не знает, какой на самом деле рост человека в кадре - 1.5 м или 1.9 м. Размеры других знакомых объектов тоже могут варьироваться. Так что только на основании этих данных машинное зрение поможет достаточно грубо определить координаты объекта. Если знакомых объектов в кадре нет, то кадр будет бесполезен для вычислений через машинное зрение.

Зато сильно поможет в определении азимута, если в кадре окажется солнце, учитывая известные координаты камеры и известное время съёмки.