Как найти границы объекта на фото?

Question

[My1Name]

- Продолжение темы "машинное зрение".
Как обнаружить объект на изображении?
Как распознать объект по его геометрии?
Как посчитать звёзды на небе?
- На сегодняшний день удалось реализовать своего рода "хромакей" и "машинное обучение". Вопросы к теме - это личный опыт и путь разработчика... Теперь стоит вопрос: Как научить программу находить границы объекта самостоятельно?

На данный момент, нахождение объекта/ов осуществляется через параметры его светимости передаваемые вручную, а выбор осуществляется точечно. Выбираются пиксели в заданном диапазоне и получаются формы (матрицы), которые сравниваются с шаблонами. Проблема данного подхода заключается в том, что в природе редко встречается идеально ровный цвет. И чем больше цветовой диапазон, тем больше вероятность захватить лишние пиксели (точки) на изображении, которые потом нельзя правильно интерпретировать в форму.
Наглядно:
На фото слева - массив геометрических фигур зелёного цвета (~500шт.) разных форм и размеров. Вопрос в том, как правильно определить границы объекта? От этого зависит точность.. Выбирая по пикселям, как хромакей, возможно "протекание цвета", из-за чего ломается геометрия. Существуют ли какие-то решения этой задачи?

Comments

[Константин Б.]

Нужно написать программу которая будет по датасету обучаться. На этом датасете вам нужно будет натренировать скрипт в ручную, либо если такой вдруг есть использовать уже размеченный

Answer 1

[twobomb]

Границы, границы чего? По поводу машинного обучения не подскажу, это наверно нужно иметь большую базу объектов и позиций их границ для обучения.
Ну если без машинного, то например как вариант по примеру фотошопа.
1. Берем изоражение.
2. Обесцвечиваем
3. Самый важный и сложный этап, настраиваем правильно уровни.
4. Находим границы черного и белого, но в идеале еще перед этим этапом придумать алгоритм растушевки хотя можно это сделать и уже следующим шагом исключив большие скопления точек.

Я думаю можно даже несколько раз прогнать этот алгоритм, на разных уровнях(шаг3), для нахождения как можно большего количества границ и в итоге совместить в одну карту границ. Ну это сидеть, пробовать играть с параметрами...
Ну это как один из первых же вариантом который пришёл в голову. Если нужен какой-то более ускоспециализированный поиск, это нужно посидеть подумать, потому-что "границы объекта" слишком абстрактно, объектов на фото может быть много и чьи границы искать неясно и что считать границами...


P.S. Мысли в слух, как вариант создать программу которая в полуавтомате поможет найти границы изображений, чтобы сформировать массив данных уже для обучения нейронки, которая в будущем будет делать это автоматически.

Comments

[My1Name]

что считать границами

Это пожалуй и есть вопрос. Обесцвечивание и обработка изображения не дают никаких полезных данных. Я делаю бинарное (чёрно-белое) изображение на этапе проверки выбранной формы. То есть, сначала выбирается массив точек (участок изображения) в цветовом диапазоне, а потом с него делается бинарное изображение, которое очищается от всего лишнего и подгоняется под масштаб шаблона. В конечном счёте - выводится процент соответствия формы.

[twobomb]

My1Name, Мне интересно, какой программу вы видите в итоге. Типо мы даём изображение(я), каким-то образом указываем что объектом считается например труба, и программа в итоге должна найти границы труб на всех изображениях?
Или всё сильно проще и в итоге должна просто программа которая ищем дырки в трубах?

[My1Name]

twobomb,

какой программу вы видите в итоге.

Чем более уникален метод определения объектов, тем более программа "умная". В идеале - искусственный интеллект. Уровень "разума" будет зависеть от области применения и вычислительных мощностей. Различия лишь в датасетах. Например, для транспортного автопилота - это один набор шаблонов и правил. Для производства - другой, в соответствии с выпускаемой продукцией.

[twobomb]

My1Name, Я понял, вы пытаетесь разработать универсальный алгоритм и все другие алгоритмы будут ему завидовать, "панацея ии", который в будущем у вас купит Илон Маск за миллиард долларов.
Я то думал вы для какого-то производства делаете программу определения геометрии, которая скажет в трубе "дыра" или "отверстие" или типа того. А у вас глобальные планы.

[My1Name]

twobomb, Нет, всё гораздо проще. Уже есть подобного рода программы, а я пишу свою... При этом код хочу унифицировать. Не более того. Идеи дополненной реальности не новшество, как и гаджеты, которые уже сегодня можно купить.