Как преобразовать эмбеддинг текста в понятный сверточным слоям?

Question

[ermak148]

(юзаю pytorch, но возможно это и не важно)
Уже почти пол года я пытаюсь найти способ создать текстовый эмбеддинг фиксированной длины. Совершенно случайно, наткнувшись на статью про архитектуры kandinsky и dall-e я нашел для себя RoBERTa. С помощью этой сети я смог получить эмбеддинг из любого текста с размерностью [1, 1024]. Конечно, идея может показаться тупой, но я запланировал сделать свою архитектуру для генерации картинок. По идее, после роберты должен стоять UNet, а он, как известно, работает на сверточных слоях. Как мне правильно поменять эмбеддинги, что бы юнет их спокойно кушал и генерировал мне хорошие картинки. Менять размер на [1, 32, 32] и увеличивать размер с TransposeConv2d я не стал (как мне кажется по очевидным причинам)

Answer 1

[Vindicar]

Свёрточные слои работают только с изображениями (ну или с картами особенностей, что частный случай изборажений). Они ищут локальные взаимосвязи между соседними элементами изображения.

Эмбеддинг изображением не является, в нём нет локальных вазимосвязей между элементами - он имеет смысл только при рассмотрении всех элементов эмбеддинга.

Таким образом, пытаться скормить эмбеддинг напрямую в свёрточный слой довольно-таки бессмысленно.

Comments

[ermak148]

Так, хорошо. Что можно сделать что бы правильно передать текст в юнет?

[Vindicar]

ermak148, вот это хороший вопрос. Есть вариант с автоэнкодером, который учится давать одинаковое embedding-представление для изображения и для его текстового описания. Тогда половина-декодер автоэнкодера сможет по embeddingу дать какой-то полезный набросок, который будет в дальнейшем дорабатываться diffusion-алгоритмом.