Какую библиотеку в HTML5 использовать для сканирования картинки и нахождения сходства с картинкой в базе?

Question

[blabs]

Кейс: пользователь открывает в браузере определенный сайт, далее сканирует логотип бренда и если он есть в базе выводится видео ролик.

Какую библиотеку можно использовать для таких целей?

Comments

[Алексей Ярков]

далее сканирует логотип бренда

Как вы этот процесс представляете?

[Daria Motorina]

Причем тут html5?

[Everything_is_not_so_bad]

blabs приведи пример логотипа бренда и несколько вариантов изображений для поиска среди них.

[Everything_is_not_so_bad]

А еще как извлекается логотип бренда из сайта?

[blabs]

Роман Мирр, любой логотип, который мы заранее заносим в базу. Например, Adidas

[Everything_is_not_so_bad]

blabs, pHash должен хорошо подойти к такой задаче.

[Everything_is_not_so_bad]

Но это задача для бэкенда, а не фронтэнда.

[blabs]

Роман Мирр, в реалтайм тогда не получится распознавать. Здесь как раз нужно, что при наведении срабатывала логика. В целом мы вроде как нашли решение, пробуем его

[blabs]

Роман Мирр, спасибо. Попробуем

[Everything_is_not_so_bad]

blabs, есть один демо-проект phash.js (ветка dev). На фронтенде получаем хэш, а дальше, после некоторой доработки, тогда передаем на бэкенд и тот выдает результаты поиска.

[Everything_is_not_so_bad]

blabs, real-time - понятие относительное. Нужны подробности. На стороне фронтенда тогда нужно хранить БД хэшей с брендами, например с IndexedDB API. Но эту БД нужно синхронизировать с мастером.

Answer 1

[Daria Motorina]

Существует Tensorflow.js, но это не задача, которую делают "на коленке"

Comments

[Everything_is_not_so_bad]

Tensorflow - это overkill для такой задачи.

Answer 2

[xmoonlight]

In-Browser Object Detection Using Tensorflow.js

Answer 3

[Everything_is_not_so_bad]

Поскольку автор вопроса не уточнил что именно подразумевается под сравнением изображений, рискну предположить, что перцептивный хэш - это то, что нужно. Есть неновая статья, раскрывающая его смысл: «Выглядит похоже». Как работает перцептивный хэш.
Большой плюс в том, что не нужно использовать машинное обучение. Все работает просто, довольно надежно и не расходует много ресурсов. Т. е. проще чем Tensorflow.
Сканируется база логотипов и заносится в БД, например,
Брэнд | Хэш
Сравнение хэшей - при помощи расстояния Хэмминга. Чем оно меньше, тем ближе к оригиналу.