Как сжать opencv ORB дескрипторы 32 байта в 8 байт с помощью phash?

Question

[Александр Таратин]

Пытаюсь сделать поиск по мотивам статьи
https://habrahabr.ru/post/211773/
есть там такой момент

Так как наш хеш это 64битное число, то требуется 32 байта дескриптора ужать в 8 байт и при этом не сильно потерять в точности.
После некоторых тестов было решено попробовать эти 32 байта представить в виде матрицы 16x16 бит. А потом эту матрицу пропустить через перцептивный хеш PHash. Результатом должно было оказаться как раз 64 битное число.

И вот как то у меня идей нет, как эту матрицу скормить в cv::dct из opencv или https://www.phash.org/
Интересует решение на c++ но сойдет и любом другом языке
В репозитории у автора статьи (огромный ему респект кстати) не нашел примера с конвертированием дескриптора в хэш https://github.com/valbok/img.chk

Comments

[rustler2000]

Зачем такой хэш на практике?

[Александр Таратин]

rustler2000, Для быстрого поиска через https://github.com/valbok/HEngine можно конечно это все адаптировать и под int256 но даже на int64 по моим прикидкам данное дело будет занимать более гигабайта в оперативке, а работать все это будет как часть декстопного ПО. Если бы все можно было запихнуть на сервер, то просто докупили побольше оперативки.
Ну и скорость поиска конечно же будет ниже.

[rustler2000]

Александр Таратин, понял. дополни вопрос плиз - редко когда хорошие попадаются.

[Александр Таратин]

Возможно так получится призвать автора статьи valbok
и придет оповещалка

Answer 1

[valbok]

Добрый день,
> не нашел примера с конвертированием дескриптора
Дескриптор в виде 32 байта, создается матрица 16*16 бит
https://github.com/valbok/img.chk/blob/master/core...

Тут реализация phash
https://github.com/valbok/img.chk/blob/master/core...

Comments

[Александр Таратин]

Спасибо!!!
Второй момент сразу увидел, а первый почему-то проигнорировал.

[Александр Таратин]

valbok, получается мы в любом случае растягиваем матрицу в размер 32?
Обрезка после dct в этом случае не выкинет вдвое больше информации, чем могло бы при матрице в 16?

[valbok]

> получается мы в любом случае растягиваем матрицу в размер 32?
Не совсем понял, но идея в том, что ORB дескрипторы занимают 32 байта, и неудобно их сравнивать, поэтому была идея использовать phash, чтобы ужимать 32 байта в 8 байт, и после чего удобнее хранить в базе, и работать.

Всю "магию" делает phash, если ужать два похожих дескриптора таким способом, (похожих, это число различающихся бит будет небольшое), то их хеши тоже будут различаться несильно.
К сожалению, потеря в точности при сжатии неизбежна.

Поэтому я бы подумал, как бы работать напрямую с ORB дескрипторами, хранить 4 восьмибайтных числа и искать по ним уже.

[Александр Таратин]

valbok, Это все понятно.
Я про https://github.com/valbok/img.chk/blob/master/core...
но так как после dct
мы берем верхний левый квадрат 8*8 то не будет ли лишняя потеря точности? Так как dct расчитывается от матрицы в которой уменьшена вдвое плотность информации.

[Александр Таратин]

И еще момент.
DCT в opencv умеет работать с одномерной матрицей. https://docs.opencv.org/3.4.0/d2/de8/group__core__...
Так ли нам нужно искусственно вводить доп измерение при постройки матрицы 16*16 ? Может можно просто как с массив перелопатить ORB дескриптор и потом взять 1...65 элементы?

[Александр Таратин]

я бы подумал, как бы работать напрямую с ORB дескрипторами, хранить 4 восьмибайтных числа

У меня нет такого простора по памяти.

[valbok]

> Так как dct расчитывается от матрицы в которой уменьшена вдвое плотность информации.
www.hackerfactor.com/blog/index.php?/archives/432-...
While the DCT is 32x32, just keep the top-left 8x8. Those represent the lowest frequencies in the picture.

He wrote: "the dct hash is based on the low 2D DCT coefficients starting at the second from lowest, leaving out the first DC term. This excludes completely flat image information (i.e. solid colors) from being included in the hash description."

> дескриптор и потом взять 1...65 элементы?
К сожалению, не знаю

[Александр Таратин]

valbok, Ок, похоже стоит провести тесты.