Как найти один и тот же объект на разных кадрах?

Question

[mIka01]

Как найти один и тот же объект на разных камерах при масштабном изменение.

Есть камера наблюдения 2к качество на складе. Там есть оператор (охранник) который может выделить объект на изображении (типа вилочный погрузчик) и есть обычный рабочий с нагрудной камерой. Надо найти в автоматическом режиме этот объект или приблизительное место.

Понятно что камера у охранника хоть и имеет большое разрешение, но она стоит на стене цеха и при цифровом зуме размывает объект. И нагрудная камера плохого качества (может иметь оптические искажения типа рыбьего глаза).

Я до этого использовал угловые детекторы особых точек и дескрипторы. После просто находил область с большим количеством соответствий и считал что это и есть вилочный погрузчик, а если точек самого погрузчика небыли, то просто где наибольшая плотность значит предполагал что в той стороне интересующая область. Однако это подход работал когда какой то угол был виден прямо отчетливо без дополнительных деталей (часто сама вилка). Когда погрузчик загружал объекты на себя то система теряла его. А как используя может быть нейросети это сделать что бы не ломалось система.

Я попытался обучил yolo v5 на объект и он сработал на отлично. Но потребовалось много изображений этого объекта. А то что нужно отслеживать заранее не определено и я не могу обучить нейросеть на нахождении конкретного объекта. Так что есть ли что то подобное как особые точки и их дескрипторы в реализации нейросети что бы находить это лучше или подобные реализации обнаружение объекта выделенного одной камерой на другой камере?

Примерно как это реализовано сейчас (примерно).

Пример абстрактный (попытался сделать в сапр как это выглядит):
Фото с камеры охраны

Фото с камеры рабочего

Comments

[Vindicar]

Задачка, конечно, из разряда "найди то, не знаю что".
Посмотри в сторону YOLO World, оно вроде чуть лучше с такими справляется.

[mIka01]

Вы имеете виду типа эмбеддинг для картинки (или части) и слова, а после нахождения похожего вектора. Просто это работает если требуется найти что то на что yolo обучена. А если надо найти (например) l2d сканер от станка. Это уже yola не способно распознать. Но на камере с охраны есть фото и камера у человека (видеорегистратор погрузчика) это тоже видела. Охранник может и выделит объект поиска а вот описать ему уже сложно будет, но это не нужно. Он уже выделил объект на камере и теперь из множество фотографий с других камер нужно найти этот объект.

[Vindicar]

mIka01, ну я встречал утверджения, что yolo world умеет находить и не только то, на что обучена. Но сам не пробовал.

[mIka01]

Я пробивал это как инструмент сравнения (обучал сам на рандомных предметах к сожалению датаст не сохранился так как сайт от куда я брал почему-то не работает уже некоторое время) идея была в том что необученная сеть будет выдавать больше сходства на образе предмета, а сегментация предметов была на чем то вроде Mask R-CNN. Но это работал медленно и хуже чем простой алгоритм с особыми точками.

[mayton2019]

то просто где наибольшая плотность значит предполагал что в той стороне интересующая область.

По твоему алгоритму, если я одену зеленую куртку то я на камере тоже буду определен
как погрузчик. :)

[youngMaster]

Обучать нейросеть всё равно придётся на куче картинок. Попробуй разбить задачу на две. Сначала одной нейросеткой определяй что за объект выделил охранник на камере, а потому другой нейросеткой ищи этот объект, а не сам кадр на камере рабочего. Обе нейросети обучай на картинках с тех ракурсов которые доступны для каждой камеры соответственно. И опять же если погрузчик будет с грузом и повёрнут им в камеру рабочего, то скорее всего ты его не найдёшь, т.к. ещё и все возможные грузы загораживающие объект придётся проработать.

А вообще из начальной задачи создаётся впечатление что и решать ничего не нужно, определить место на статичной камере нет большой проблемы, больше похоже что нужно найти рабочего который близко с местом куда смотрит камера охранника, либо отслеживать передвижения этого погрузчика по камерам рабочих? В общем сама задача в вопросе не достаточно описана и создаётся впечатление о перемудрёном решении.

[mIka01]

Суть задачи, по простому, есть рабочий который занимается ремонтом станка (ЧПУ), он достаёт от туда лазерный сканер или еще что то. Кладет на стол и по какой то причине уходит (забывает, смена закончилось и т.д.). Ответственный рабочий другой смены видит что какая та часть блока оптического контроля лежит на стол без присмотра. Решает проявить бдительность и отнести это начальнику смены. Начальник благодарит и относит это в свой стол до востребования. Утром приходит мастер и не обнаруживает куда пропал часть станка. Начинаться поиски, на заводе около 10000 человек работает. Простой станка в некоторых случаях может обходиться в стоимость этого датчика в день 500000 руб. Так что конечно если этот начальник смены не вышел на работу (взял отпуск или его перевели на другую тех операцию) не откликнется на поиск этого датчика то принимается решения купить новый датчик. А через квартал, на собрании всех глав, оказывается что датчик не потерян, а просто лежит не там где нужно. Для этого и нужно индифицировать с одной камеры этот предмет поиска и используя то что у каждого (большинство) рабочих есть камеры и скорее всего этот предмет попадался на глаз камеры, то можно банально выявить его передвижения по цеху или обнаружить человека который последний раз видел объект интереса.

P.S. Вы удивитесь, однако бывает что теряют бухту кабеля размером по 3 метра в диаметре и стоимость под 5 миллионов. Или погрузчики что вообще за гранью (сверху qr метки пытались клеить, сдираются). Сейчас на такие вещи стояться активные rfid метки. Но их не везде можно поставить, так что решили сделать такой способ (оптикой по камере).

[d'Ivan]

сверху qr метки пытались клеить, сдираются

может, плохо клеили?

[mIka01]

Нет, у нас есть пвх шторы, которые сдирают много что (в цеху может быть до 10-20 штор с металлическим кордом, шторы бывают изношены, погрузчик за смену может 8 часов может до 3000 раз проехать, смен 3 так что это в 24 часа 9000 проходов, в месяц все содраться может) + водители, которые как в безумном максе, могут умудриться стесать все что угодно.

Answer 1

[Виталий Федоренко]

Я бы ИИ сильно не применял, ему до настоящего разума далеко.
Есть на погрузчике на крыше моргающая лампочка ?
Её и надо ловить обоими/обеими камерами.