Как преобразовать features и target к одному размеру?

Question

[SemenAnnigilator]

У меня есть 1000 изображений и к ним в качестве целевого признака идут метка класса(у одного изображения их может быть несколько) и 4 значения, координаты ограничивающего прямоугольника(bounding box)(их тоже может быть несколько).
Вот так выглядит словарь со значениями целевого признака:

{'category_id': 183, 'bbox': [0.0, 172.0, 184.0, 349.0]}

Проблема в том, что целевой признак имеет размер 6512, а размер изображений соответственно 1000, и вот как мне преобразовать признаки, чтобы размеры были одинаковые и модель приняла их(потому что сейчас tensorflow/keras пишет, что признаки и целевой признак должны быть одного размера?

Answer 1

[Vindicar]

Для начала, что ты хочешь сделать? Локализацию на изображении нескольких объектов из нескольких категорий?
Тогда нужно подумать, как у тебя будет формироваться отклик сети, потому что золотое правило для большинства сетей - размер входа и размер выхода не могут меняться на ходу.
Если ты не знаешь, сколько у тебя будет объектов, то лучше обучать сеть с прицелом на пиксельные карты. Грубо говоря, пусть тоже выдаёт изображение (можно уменьшенное), и на нём закрашивает прямоугольники разными цветами, соответствующими разным категориям.

Comments

[SemenAnnigilator]

Для начала, что ты хочешь сделать? Локализацию на изображении нескольких объектов из нескольких категорий?

Да именно это.

то лучше обучать сеть с прицелом на пиксельные карты.

Этот вариант выглядит лучше, единственная проблема, что я нигде не могу найти хоть какой то пример как его сделать. Не подскажешь материалы для изучения, если не сложно?

[SemenAnnigilator]

Я обучаю сеть на датасете COCO 2017, и там я могу получить координаты всех прямоугольников и отобразить их, но как их передать в модель?

[Vindicar]

SemenAnnigilator, начни со свёрточных нейронных сетей (CNN, convolutional neural networks). По ходу поисков можешь наткнуться на что-то более новое, но это достаточно простая в понимании точка старта.

Ещё одно ключевое слово для поиска - семантическая сегментация (semantic segmentation)

[SemenAnnigilator]

Vindicar, Да я уже целый месяц разгребаю инфу по CNN и CV в общем, но нигде так и не нашел информацию как сделать, что то подобное этой задаче. Все используют готовые модели, я пытался разобраться как работают такие модели на примере retina net, и разобрался, но пиксельные карты там не используются, и вообще я сейчас первый раз про такой способ услышал. Никто не пишет про распознавание объектов, все пишут про простую классификацию изображений, а если кто-то и напишет про распознавание, то он сделает это с пред обученной моделью.

[SemenAnnigilator]

Vindicar, Увидел, что ты дополнил комментарий. Спасибо за наводку) Это конечно не совсем то, что я хотел, но по семантической сегментации хотя бы есть материалы. Спасибо за помощь)

[Vindicar]

SemenAnnigilator, идея семантической сегментации простая - мы классифицируем каждый пиксель изображения о его окрестности. Обычно это делается чем-то быстродействующим, например, решающим лесом - но можно и обычной нейронкой, я полагаю.

Что касается свёрточных сетей, то их можно пробовать обучать так.
Для заданного входного изображения сам формируешь выходную карту (закрашиваешь bounding box известных объектов), и эту пару изображений уже используешь для обучения.