Владимир Олохтонов

Всё так же, только перед этапом обучения добавляется этап разметки данных — вы должны дать сети правильные ответы, иначе она не сможет обучиться.

Простейшим путём будет взять какую-нибудь предобученную сеть (VGG-16, ResNet, etc) и дообучить её на ваших размеченных данных.

https://towardsdatascience.com/transfer-learning-f...

Насколько я вас понял, вы говорите о задаче Style transfer, попробуйте вот отсюда начать: https://deepart.io/

Можете начать с книги "Программируем коллективный разум", в качестве более глубокой вполне подойдёт "Машинное обучение" Петера Флаха.

Проведите аналогичный тест с использованием одного из распространенных фреймворков (keras, pytorch).

Если там всё будет работать нормально, значит баг в вашей самописной библиотеке.

Здесь две задачи:
1) кодирование картинки вектором — либо особые точки (SIFT и прочие), либо нейронка (Triplet loss);
2) поиск — зависит от размера базы, fullscan по миллиону занимает порядка 50 ms, если это много, то на помощь приходят hnsw, annoy, faiss и прочие.

1) я не читал конкретно про эту сеть, но задача "построить пространство, подходящее для поиска похожих объектов" и "распознать класс объектов" — это разные задачи, требующие разных процессов обучения;
2) задача поиска по датасету — отдельная задача, требующая предварительного обучения сети для получения эмбеддингов;
3) если искать нужно по статическому датасету, то HNSW — отличный вариант, но индекс будет строиться пару недель; если же датасет динамический, то лучше faiss пока ничего не придумали, насколько мне известно.

При использовании faiss у меня получились вот такие результаты: индекс варится 5 часов, занимает 67 гигов, вот оценка качества поиска на модельных данных (BigANN, SIFT), тип индекса IVF262k_HNSW32,PQ64:

R@1    R@10   R@100   time (ms/query)
nprobe=16,efSearch=128,ht=246           0.6546  0.8006  0.8006     4.231
nprobe=32,efSearch=128,ht=246           0.7107  0.8818  0.8818     7.783
nprobe=64,efSearch=128,ht=246           0.7435  0.9343  0.9346    14.691
nprobe=128,efSearch=128,ht=246          0.7653  0.9687  0.9692    28.326
nprobe=256,efSearch=128,ht=246          0.7726  0.9829  0.9834    55.375

Метрика показывает долю истинных top-1 векторов, попадающих в top-k ближайших при запросах к индексу, при разных параметрах поиска, всего 10k запросов.

Видимо надо HTTP-запросы в этот API покидать?

Насколько я понял, вы решаете обычную задачу классификации, соответственно метрику можете выбрать классическую для этой задачи — categorization accuracy, это просто доля правильных ответов.

От ресурсов зависит время, чем больше ресурсов, тем меньше нужно будет времени.

GPU примерно на порядок быстрее CPU.

Вот статья про методы приближенного поиска ближайших соседей:
https://m.habr.com/ru/company/mailru/blog/338360/

Если вкратце, то поиск по HNSW-индексу из 500к векторов будет укладываться в 5 миллисекунд. Библиотеку лучше взять faiss, она поприличнее написана, чем оригинальный nmslib. У обеих есть Python-биндинги.

Фильмы + сабы к ним не подойдут в качестве сырья?

В первую очередь, машинное обучение – это инструмент, а не область :)

Применяют его в совершенно разных отраслях, примеры навскидку: поиск номера на фотографии автомобиля, ранжирование документов в ответе на поисковый запрос, распознование речи.

Основные профессии вокруг машинного обучения такие:
1) Data Scientist - это человек, который с помощью данных может решить какую-нибудь проблему: где-то regexp применить, где-то 10 if'ов написать, где-то модельку обучить.
2) Data Engineer - этот товарищ умеет в подготовку данных к работе: Hadoop, Spark, SQL - вот его инструменты.
3) ML Engineer - это в первую очередь хороший backend-разработчик, его задача совместить то, что сделали первые два, во что-то чем можно пользоваться.

Разделение условно и в реальной жизни один человек может совмещать несколько ролей.

Unsupervised learning - это целый класс методов, а Keras - фреймворк для создания нейронных сетей, которые по своей природе относятся к supervised-модели. Отсюда вопрос, что именно вы хотите сделать?