Как генерировать усреднённые описания ко всему датасету картинок?

Question

[Дмитрий]

Есть ли методы генерации подписей, работающие сразу с пачкой изображений, но описывающие не каждую картинку отдельно, а весь набор одним предложением? Нужен способ усреднять либо изображения перед отправкой на распознавание (я так полагаю, feature vector, который, например, выдаёт CLIP, можно обрабатывать математически, в том числе брать среднее из нескольких), либо усреднять уже тексты, полученные по каждой картинке. Но первый вариант мне видится более логичным, всё же перевод в текст это операция с потерями.

Зачем? При подготовке датасетов для обучения моделей Stable Diffusion удобнее проверять результаты на одном промпте, описывающем тематику набора наиболее точно, чем перебирать все подписи к картинкам. Кроме того, подписи можно "инвертировать", проверяя, как обученная модель ведёт себя на нехарактерных для неё запросах.

Что я уже сделал: доработал существующий CLIP+BLIP генератор описаний, чтобы он брал среднее. Однако BLIP может лишь подписывать картинки индивидуально, так что моя цель достигнута там только частично - выбором с помощью CLIP из подписей, созданных BLIP-ом, которая ближе всего к общему набору.

Comments

[rPman]

а если работать только с текстовыми описаниями, полученными для каждого изображения? формально они содержат исчерпывающую информацию (в реальности конечно нет, но не думаю что вам важно к примеру цветовая схема изображения, стилистика и т.п. ее вытягивать другими методами нужно)

с текстами... скорми их универсальной instruction llm-ке, ну а если у тебя достаточно большой объем обучающих, то дообучи completion вариант, тем более 8b llama для таких задач можно на паре 12gb-16gb видяхах дообучить (правда долго)

[Дмитрий]

rPman, я бы все же предпочёл обработки проводить без таких потерь, как смена домена. Одну и ту же картинку можно описать очень по-разному.
Неужели нет image2text моделей, обученных на эмбеддингах/feature vector-ах? На них ведь обучают модели, видел, например, оценщик эстетической привлекательности картинки, принимающий как раз этот 768-размерный вектор от клипа.
Столько видеокарт для обучения у меня нет, чтобы проверить возможность реализации caption-модели на основе клипа.

[rPman]

обучить СВОЮ модель очень дорого

без таких потерь, как смена домена

Представь как ты сам будешь делать обучающую выборку для тюнинга модели.
Ты наверняка же начнешь с того, что возьмешь существующие clip модели и их тексты, дополнишь какой то информацией (вот это сложно)... начни с того что бы собрать информацию о том чем тебе существующие решения не устраивают.

само обучение не так страшно, арендовать на vast.ai будет дешево, тем более это не llm-ка, а мизерные clip модели, на сколько я помню их на 8гб тюнят (но это peft 8-битный), 16-гб видеокарта сейчас стоит 50т.р. (nvidia 4060ti тормозная для геймеров но самая дешевая по стоимости vram)

[d'Ivan]

Но первый вариант мне видится более логичным, всё же перевод в текст это операция с потерями.

В обоих случаях будет операция с потерями.

[Дмитрий]

Everything_is_not_so_bad, текстом можно описать картинку как угодно, а перевод в эмбеддинг однозначный. Кроме того, текстовое представление все равно в эмбеддинг переводится для условного чатгпт при вводе, двойные потери.

[Дмитрий]

Да почему вам так сложно дать ответ на простой вопрос? Я шестой раз уже задаю его на stackexchange и меня либо игнорируют, либо закрывают без каких-либо советов. Я проделал исследования, написал прототип решения, что вам еще-то нужно?