Задать вопрос
@ermak148

Как преобразовать эмбеддинг текста в понятный сверточным слоям?

(юзаю pytorch, но возможно это и не важно)
Уже почти пол года я пытаюсь найти способ создать текстовый эмбеддинг фиксированной длины. Совершенно случайно, наткнувшись на статью про архитектуры kandinsky и dall-e я нашел для себя RoBERTa. С помощью этой сети я смог получить эмбеддинг из любого текста с размерностью [1, 1024]. Конечно, идея может показаться тупой, но я запланировал сделать свою архитектуру для генерации картинок. По идее, после роберты должен стоять UNet, а он, как известно, работает на сверточных слоях. Как мне правильно поменять эмбеддинги, что бы юнет их спокойно кушал и генерировал мне хорошие картинки. Менять размер на [1, 32, 32] и увеличивать размер с TransposeConv2d я не стал (как мне кажется по очевидным причинам)
  • Вопрос задан
  • 83 просмотра
Подписаться 2 Средний Комментировать
Пригласить эксперта
Ответы на вопрос 1
Vindicar
@Vindicar
RTFM!
Свёрточные слои работают только с изображениями (ну или с картами особенностей, что частный случай изборажений). Они ищут локальные взаимосвязи между соседними элементами изображения.

Эмбеддинг изображением не является, в нём нет локальных вазимосвязей между элементами - он имеет смысл только при рассмотрении всех элементов эмбеддинга.

Таким образом, пытаться скормить эмбеддинг напрямую в свёрточный слой довольно-таки бессмысленно.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
SpectrumData Екатеринбург
от 150 000 до 250 000 ₽
AST Москва
До 350 000 ₽
Wanted. Москва
До 250 000 ₽
14 янв. 2025, в 03:39
20000 руб./за проект
14 янв. 2025, в 03:33
3500 руб./за проект
14 янв. 2025, в 00:52
100 руб./за проект