Как идентифицировать лица с помощью алгоритмов машинного обучения?

Question

[MrPr]

В целях самообразования решил начать изучать вопросы связанные с алгоритмами машинного обучения. Чтобы изучение было интересным, решил попробовать реализовать задачу идентификации лиц на фотографиях. Помогли некоторые статьи (например, https://habrahabr.ru/post/317798/) и я научился выделять лица на фотографиях, выравнивать их, но вот с последним этапом - классификацией, есть проблемы. Если действовать по основной массе примеров, то все получается хорошо, так как конечное количество классов и модель обучается и выдает приемлемые результаты. Это предыстория.
Мой основной вопрос, как сделать классификатор, который можно доучить для идентификации нового лица. Например есть классификатор на 10 выходов, как создать новый классификатор, который будет уметь идентифицировать новое лицо, т.е. будет иметь 10+1 выход, но при этом не переучивая полностью классификатор, а расширив размерность и доучивая для идентификации нового лица?
Сопутствующий вопрос, может есть другой способ быстро сопоставлять вектор признаков с идентификатором человека? Неужели у Facebook используется классификатор с 1,6 миллиардов выходов, который сопоставляет лицо с фотографии с учетной записью?

Answer 1

[Арсений Кравченко]

Можно дообучить любую нейросеть, в случае с изображениями это имеет смысл: гуглите transfer learning и fine tuning (например, cs231n.github.io/transfer-learning/).

Answer 2

[xdgadd]

Вместо идентификаторов попробуйте получать на выход вектор фиксированной размерности. Тогда, вам остается векторизировать уже существующие в базе лица, а новые, которые будет выдавать сеть, сравнивать. Например, через консинусное расстояние.

Comments

[MrPr]

Немного не понял. Я для примера взял сеть InceptionV3, отключил верхний слой, соответственно, подаю на вход сети изображение, на выходе имею вектор фиксированной длины. Собственно этот вектор я и использовал для обучения классификатора. Но мне не совсем понятно как использовать веса обученного классификатора с N выходами, для последующего использования в классификаторе с N+1 выходами.

Или Вы предлагаете создать классификатор, например, с 8 выходами, и тренировать его для первого лица чтоб он выдавал вектор [0,0,0,0,0,0,0,1] потом тренировать второе лицо, чтоб получать вектор [0,0,0,0,0,0,1,0]. Таким образом я смогу в двоичной системе закодировать 255 лиц в двоичной системе. Если заложу выходной вектор большей размерности, то смогу закодировать большее количество лиц.
Это так?

[xdgadd]

MrPr: вы используете one-hot encoding вектора, это супер-отстойно. Посмотрите в сторону нормальных float64 векторов.

[MrPr]

Могли бы Вы не немного подробнее расшифровать Вашу мысль. Напомню, я только начал изучение темы и пока не все могу схватывать с полуслова. Простите.

[xdgadd]

MrPr: загуглите one-hot encoding. В вашем векторном представлении каждому классу соответствует одна позиция. Я предлагаю получать вам вектор из вещественных чисел.

[Александр Пожарский]

MrPr: наверное, запоздалый коммент, но:

Если вкратце - то ваше решение - использовать вектор вида [k1, ... kn] где k1-kn - вероятности того, что переда нами определенное лицо.

Вам же предлагают подойти иначе - убрать этот часть полносвязных слоёв из предобученной сети.
Тогда у нас будет вектор из признаков, по которым полносвязные слои определяли бы вероятность принадлежности лица конкретному человеку.

Тогда мы сможем:
- для нового лица - сгенерировать эти векторы и сохранить
- при попытке определить, чьё это лицо - генерируем его вектор и ищем ближайший из ранее собранной выборки. Возможно, отсекаем, если расстояние между векторами выше определённого порога

[MrPr]

Александр Пожарский: Спасибо за развернутый ответ. Есть у меня вопрос: Я понимаю что у меня будет набор признаков для каждого нового лица, но мне не понятно как потом обеспечить быстрый поиск, собственно, я понимал - именно в верхних слоях именно тот обученный классификатор, который обеспечивает быстрый результат. Просто если я буду в базе хранить вектора и пытаться их сравнивать для поиска наиболее близких к проверяемому вектору... мне кажется что это будет работать на малом количестве лиц, но потом скорость будет катастрофически падать.