Как генерировать усреднённые описания ко всему датасету картинок?

Question

[Дмитрий]

Есть ли методы генерации подписей, работающие сразу с пачкой изображений, но описывающие не каждую картинку отдельно, а весь набор одним предложением? Нужен способ усреднять либо изображения перед отправкой на распознавание (я так полагаю, feature vector, который, например, выдаёт CLIP, можно обрабатывать математически, в том числе брать среднее из нескольких), либо усреднять уже тексты, полученные по каждой картинке. Но первый вариант мне видится более логичным, всё же перевод в текст это операция с потерями.

Зачем? При подготовке датасетов для обучения моделей Stable Diffusion удобнее проверять результаты на одном промпте, описывающем тематику набора наиболее точно, чем перебирать все подписи к картинкам. Кроме того, подписи можно "инвертировать", проверяя, как обученная модель ведёт себя на нехарактерных для неё запросах.

Что я уже сделал: доработал существующий CLIP+BLIP генератор описаний, чтобы он брал среднее. Однако BLIP может лишь подписывать картинки индивидуально, так что моя цель достигнута там только частично - выбором с помощью CLIP из подписей, созданных BLIP-ом, которая ближе всего к общему набору.

Comments

[rPman]

а если работать только с текстовыми описаниями, полученными для каждого изображения? формально они содержат исчерпывающую информацию (в реальности конечно нет, но не думаю что вам важно к примеру цветовая схема изображения, стилистика и т.п. ее вытягивать другими методами нужно)

с текстами... скорми их универсальной instruction llm-ке, ну а если у тебя достаточно большой объем обучающих, то дообучи completion вариант, тем более 8b llama для таких задач можно на паре 12gb-16gb видяхах дообучить (правда долго)