Как распознавать объект в режиме реального времени с использованием захвата окна?

Question

[Aivaki]

Меня интересует простейший способ распознавания моего изображения на HTML странице в режиме реального времени. Я беру любое окно системы с нужным изображением, вывожу его на страницу в виде canvas, чтобы нейросеть могла его определить и отрисовать что-то поверх исходного изображения. Я нашёл face-api.js, что мне идеально подходит(я это реализовал), за исключением одного момента: мне нужно распознавать не лица, а собственный объект, который я задам к распознаванию. Не знаю, как это сделать. Возможно ли это вообще сейчас? Если возможно, то как это сделать с использованием JavaScript?

Необязательно: (желательно, чтобы это работало только на JavaScript)

На данный момент, я пробовал использовать другие библиотеки, по типу ml5.js, но они не подходят, так как используют исключительно камеру и ещё что-то. Или я просто не понимаю, как использовать их вместе с Screen Capture API

Буду рад любой помощи!

Comments

[Vindicar]

Собственный объект - понятие растяжимое.
1. Сколько экземпляров может быть одновременно?
2. Может ли меняться масштаб?
3. Может ли меняться ориентация?
4. Насколько объект изменчив?

Answer 1

[FIREguardSPB]

У меня тупая идея =) Конвертировать нужное изображение и образец в svg и соответственно в исходном найти часть кода образца.

Comments

[Aivaki]

Окей, но я по-прежнему не понимаю, как это должно выглядеть со стороны кода так, чтобы работало со стримом окна, используя любую из доступных библиотек для распознавания(ml5.js, например)

Answer 2

[calculator212]

нужно распознавать не лица, а собственный объект

вообще постановка задачи так себе. Opencv + yolo в помощь. Если объект специфический скорее всего придется свою нейронку учить.

Answer 3

[Aivaki]

Сам разобрался.