Как работают Каскады Хаара в OpenCV?

Question

[Pudjak]

Можете на доступном языке объяснить, как это работает?
Вот допустим есть некоторое изображение, на котором нужно определить лица, и мы пропускаем его через этот алгоритм.
В нём мы имеем чёрно-белые маски и признаки размером 24 на 24. Ещё и 25 уровней каких-то есть.

Так и что в итоге с ними происходит?
Предполагаю типа признаком 24 на 24 проходимся по всему изображению. На каждом таком проходе ещё проходим и масками, чтобы определить может ли быть на этом месте лицо или нет (если так, то как?). В итоге имеем изображение с несколькими отметками 24 на 24, на которых по идее лицо. И как в итоге будет решено, есть ли на всём изображении это лицо?

Answer 1

[Vindicar]

«Признак Хаара» это прямоугольный фильтр, разделенный на две области – светлую и темную. Данный фильтр накладывается на некоторую область изображения (окно). Значением (откликом) признака является сумма яркостей пикселей изображения в светлой области минус сумма яркостей пикселей в темной области. Если эта разность превышает некоторый порог, то мы считаем, что данный фильтр дал отклик в данном месте изображения.
Это примитивный признак-классификатор. При обучении классификатора Хаара с помощью алгоритма бустинга набор таких примитивных классификаторов складывается в один составной классификатор. Но такой классификатор либо работает долго, либо даёт много ложных срабатываний. Даже шанс в 0,01% - это много, учитывая сколько возможнных окон (возможных позиций лица) может быть на изображении.
Поэтому использует принцип "каскада внимания". Формируется цепочка из нескольких составных классификаторов таким образом, чтобы каждый последующий отсеивал как можно больше отрицательных примеров, но при этом пропускал все или почти все положительные (уровень обнаружения >95%). Это позволяет ограничиться вычислением сравнительно быстрых и простых составных классификаторов для подавляющего большинства окон на изображении.

Под конец несколько близлежащих окон могут быть слиты в одно с помощью non-maximum suppression. Это нужно, так как лицо может попасть сразу в несколько соседних окон, чуть смещённых относительно друг друга.
Если в итоге у нас есть отклики, то мы знаем позиции и размеры возможных лиц на изображении. А дальше уже эвристика на основании этих сведений. Например, если нам нужен крупный план, то мы можем отвергнуть изображение, если наибольшее лицо занимает менее 75% площади изображения.

Comments

[Pudjak]

Так ну то есть у нас есть окно (размером 24 на 24 в xml файлах каскадов хаара). Этим окном мы смещаясь по одному пикселю проходим по всему изображению. Если в окне сумма яркостей проходит порог, то это место становится слабым классификатором. Пройдя по всему изображению получаем множество слабых классификаторов. Затем слабые классификаторы объединяются в сильный (вот тут не пойму, каким образом). А вот дальше уже чёт не могу понять, что происходит.

[Vindicar]

Pudjak, нет, нет.
Окно - это прямоугольник 24х24 внутри изображения.
Каждый признак Хаара - это слабый классификатор. Он даёт отклик на тех окнах изображения, где распределения яркостей похоже на распределение яркостей в признаке.
С помощью алгоритмов бустинга (типа AdaBoost) можно объединить несколько слабых классификаторов в один более сильный. Грубо говоря, суммируем их отклики с некоторым весом, и по полученной сумме делаем вывод - похоже / не похоже. Таким образом, набор отдельных признаков Хаара начинает работать как единое целое, выделяя те окна, в которых сложное распределение яркости похоже на желаемое.

[Pudjak]

Vindicar, Ну а вот этим "окном" же мы всё равно проходимся по всему изображению, просто смещая постепенно в сторону и вниз? Посмотрели первое окно, отклика от классификатора нет, передвинулись на пиксельный столбец правее и опять проверяется отклик уже на следующем окне, и так пока не обойдётся всё изображение.
По идее же в итоге и получается, что размер "окна" этого и будет размером самого прямоугольного фильтра (признака).

[Vindicar]

Pudjak, именно, это называется метод скользящего окна.
Для поиска лиц разного размера просто уменьшаем изображение в N раз (N не обязательно целом, можно уменьшать на 20%, например) и проходимся еще раз.