Как распознать картинку с камеры на javascript и найти её в базе?

Очень долго пытаюсь решить данную задачу. Суть задачи заключается в том, чтобы с камеры телефона (при наведении) в браузере распознать, проверить по базе и узнать ID картинки, которая хранится на сервере. Перерыл кучу инфы, но не нашел хорошо работающего решения. Пробовал перцептивное хеширование (глупость, да), сейчас рою в сторону opencv.js и подобных фрэймворков, но увы, ничего пока не получается из-за того, что не могу сопоставить последовательность действий.
  • Вопрос задан
  • 1419 просмотров
Решения вопроса 1
@Romansov Автор вопроса
Решил проблему с помощью ml5js, а именно примером "Feature Extractor" на гитхабе.
Ответ написан
Комментировать
Пригласить эксперта
Ответы на вопрос 3
@rPman
Потому что задача не такая простая как хотелось бы, да, перцептивное хеширование и opencl верное направление, но ваша проблема именно в том что вы работаете с камерой а не типличными условиям и готовыми картинками.

Камера - это повороты и перспективные искажения, проблемы с неравномерной яркостью и мерцанием освещения, инертностью матрицы и глюки алгоритмов пост обработки в смартфонах.

Вы зависните глубоко и на долго тупо на определении границ вашего изображения, и хорошо, если бы оно было бы геометрически простым, типа прямоугольник
Ответ написан
Комментировать
@grinat
Ну если сети, то тебе надо распознавать что за объекты в кадре https://github.com/tensorflow/models/blob/master/r... и в первую итерацию искать объекты с таким же числом и типом. Во вторую сравнивать векторы с позициями https://docs.scipy.org/doc/numpy/reference/generat... и ранжровоать по этому расстоянию.

Хотя скорее всего это все надо, надо просто нормализировать изображения чтобы убрать искажения и потом искать похожие по цветовому профилю, по крайней мере опенсусрсные решения так делают - www.lire-project.net Пример https://github.com/soruly/trace.moe объяснение как работает https://go-talks.appspot.com/github.com/soruly/sli...
Ответ написан
xmoonlight
@xmoonlight
https://sitecoder.blogspot.com
Вот Ваш ответ:
Перерыл кучу инфы, но не нашел хорошо работающего решения. Пробовал перцептивное хеширование (глупость, да), сейчас рою в сторону opencv.js и подобных фрэймворков, но увы, ничего пока не получается из-за того, что не могу сопоставить последовательность действий. Хелп плес.

Не пытайтесь рыть и искать работающее решение.
Научитесь понимать логику по-шагам.


PS: Чтобы ускорить обработку данных на js - используйте emscripten.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы