Определение оттенка по фотографии?

Question

[sstepashka]

Привет, Хабр!


Возникла задача определения цвета (оттенка) предмета по фотографии. Есть набор шаблонов (эталонов) и по фото нужно определить самый близкий из шаблонов. В данный момент сделано следующим образом, таким же образом генерирую из шаблонов набор цветов:


1) Удаляем ненужные цвета из изображения (диапазон выявлен опытным путём).

2) Вычисляем средний цвет изображения (не учитываем удалённые).

3) Вычисляю по алгоритму CIEDE2000 (en.wikipedia.org/wiki/Color_difference).

4) Из этого выбираю самый близкий по значению(самое меньшее значение).


Проблема состоит в том, что фото сделанные при освещении отличном от эталонного имею неверный средний цвет. На данныом этапе, надо как-то приводить к одной степени освещённости (Баланс белого)?


Может быть есть другие способы определения оттенков?

Answer 1

[Lev Lybin]

courses.graphicon.ru/files/courses/vision/2010/cv_2010_02.pdf

Answer 2

[Алексей Гусейнов]

А что вы собственно хотите сделать? Что вы называете цветом предмета? И насколько разные спектры освещения вы допускаете? Насколько точный результат хотите получить?

Можно попытаться получить какие-то приближение, если заставлять рядом с предметом класть специальную калибровочную мишень с цветными квадратиками. Просто по фотографии вы не восстановите вообще ничего, даже если у вас будет RAW фотография безо всяких корректировок. Могу легко привести пример, когда при смене освещения эталонные серые карточки не поменят оттенка, а другие предметы станут совсем иными. Достаточно использовать линейчатые спектры или, например, флюорисцирующие краски и добавить ультрафиолета.

Comments

[sstepashka]

Сравниваются оттенки зубов по ортопедическим шаблонам и необходимо найти наиболее подходящий, про калибровку по мишени думал, но оставил напоследок, может другие какие-то варианты есть — предполагал. Пример посмотрел бы с удовольствием, там как понимаю как раз производится калибровка по мишени? Может есть какие-то статьи про калибровку по мешеням?

[Алексей Гусейнов]

Почитать ничего конкретного не посоветую. Прежде всего вам нудно разобраться в том, как зависит цвет предмета от спекта освещения и в том, как работает человеческий глаз. Фотоаппарат работает примерно также, как глаз т.к. копирует его. Если грубо и на пальцах, то примерно так:
Есть спектр освещения. Есть спектр отражаемых предметом частот. Умножаем первое на второе и получаем спектр отраженного света (это если исключить эффект флюорисценции). Если эти спектры непрерывные, то при небольших изменениях цвет предметов меняется не сильно и предсказуемо. В этом плане вам похоже повезло, я полагаю, что у зубов спектр непрерывный. А если он линейчатый, то цвета могут меняться сильно, причем странным образом. Светлый в обычных условиях предмет может оказаться тёмным.
Затем есть спектр, к которому чувствительны колбочки и палочки на сетчатке глаза (ну или светочувствительные ячейки фотоаппарата). Умножаем на него спектр отраженный предметом, интегрируем по всем частотам и получаем три канала цвета и один канал яркости, которые воспринимает глаз. Также надо учесть логарифмическую зависимость воспринимаемой глазом яркости. У камеры зависимость линейная, но при переводе изображения в jpeg применяется basecurve, призванная сделать изображение похожим на то, как его воспринимает глаз.

В вашем случае дополнительную головную боль причиняет автоматика камеры, настраивающая баланс белого, применяющая basecurve и т.д.

Но с другой стороны, у вас задача очень сильно упрощается за счет того, что объекты, цвет которых надо мерять, известны заранее и у них, насколько я понимаю, нормальные спектры. Да и освещение в целлом нормальное, не натриевые уличные фонари. Поэтому вполне может оказаться достаточно вместе с зубами сфотографировать набор шаблонов и найти наиболее похожие по цвету шаблоны.

Совсем без шаблонов не получится: слишком много неизвестных при использовании непойми какой камеры, применяющей непонятные алгоритмы к изображению.

[sstepashka]

Как я понял, мишени (ну или чего-то подобного) ничего не получится? То есть калибровку никак не сделать? Просто когда делается фото, можно брать фотку полного изображения и обрезать до размера объекта(зуба — это делает пользователь). И если определить освещённость полного изображения при помощи перевода в градации серого (R*0.299 + G*0.587 + B*0.114) и применять к изображению коррекцию равную разнице текущей освещения с эталонным, что бы привести к одной степени освещённости не получится? То есть такой вот вопрос, возможно ли такое сделать без мишени, хотя бы с погрешностью?

[sstepashka]

Может быть тут ещё можно что-то придумать с устройством, делается всё на iPhone… Например, всегда делать фото со вспышкой или включенной LED-подсветкой для повышения точности. При фотографировании к фото прикрепялется EXIF, который содержит уровень яркости (но опять же высчитывается из изображения — выявлено опытным путём), содержит баланс белого (опять же проблема — всегда возвращает 0, но про это пока гуглю). У iPhone'ов есть ещё индикатор освещённости, отвечающий за автокоррекцию подсветки экрана, но он только в приватном API доступен и за его использование не пустят в стор (даже не пробовал работать с ним — сразу отсёк этот вариант).

[sstepashka]

И как можно составить спектр цветов? Есть все исходные данные, шаблоны… Можно ли это сделать в ФШ или как-то ещё?

[Алексей Гусейнов]

Как я понял, мишени (ну или чего-то подобного) ничего не получится?

Не получится. Телефон накладывает на изображение произвольные неподконтрольные фильтры. Даже если вы под них адаптируетесь, никто не гарантирует, что в следующей версии ОС алгоритмы не поменяют. Что-то может быть можно было сделать с RAW фотографиями, но и это приличная исследовательсякая задача.

И как можно составить спектр цветов? Есть все исходные данные, шаблоны… Можно ли это сделать в ФШ или как-то ещё?

Проще всего использовать призму, разложить луч света на спектр и измерить яркость. Более сложный способ — хорошо продуманная мишень с заранее известными цветами. Возможно подойдут мишени для калибровки сканеров.

Вытащить в фотошопе из произвольного изображения нельзя. И из изображения белого листа нельзя.