Арсений Кравченко

Для начала - декомпозировать ошибки (например, где ошибается детектор, а где - собственно поиск по фичам), и дальше уже решать (докидывать данные, усложнять/переучивать модель и т.п.)

Посчитать эмбеддинги всех кадров, положить в базу типа https://github.com/spotify/annoy или https://github.com/facebookresearch/faiss, и по ней делать поиски.

Алгоритмы построения 3д моделей как раз основаны на том, что камера (точка, с которой делается фото) меняется, а сам объект — нет. Таким образом, растягивающиеся футболки как раз не подходят, они нарушают это допущение; обычно используется либо заранее известный маркер размера (например, как в этом мануале https://docs.opencv.org/3.1.0/d5/dae/tutorial_aruc... либо какие-то ключевые точки находятся алгоритмически.
Настолько я знаю, простого и универсального решения этой задачи в такой постановке нет. В качестве начальной точки можете почитать про https://en.wikipedia.org/wiki/Photogrammetry.

https://imagemagick.org/script/mogrify.php

Для ответа на такой вопрос не хватает логов обучения. Причем не только по трейну, но и по валидации (судя по коду, валидации сейчас вообще нет).

Гипотезы:
- лучше использовать хотя бы 2-3 сверточных слоя со свертками 3*3, чем один 8*8, т.к. это обеспечит больще нелинейности;
- learning rate = .25 может быть слишком большим, так что в итоге сеть начинает осциллировать вокруг локального минимума.

Не очень понятна задача: это классификация или сегментация?
В любом случае, кажется, что вы пробуете использовать multilayer perceptron, которого для такой задачи не хватит - понадобится сеть с convolutional слоями.