Как преобразовать текст (эмбеддинги) в вектор фиксированной длинны?
Учу уже месяц pytorch и пришел к NLP, трансформерам и т.д. Хочу сделать генератор картинок на GAN, но эмбеддинги gpt динамической длины (всмысле seq_len), а gan'у нужны данные фиксированной длинны. Спрашивал на стаковерфлоу, но там сказали бери среднее или сумму, но этот подход я решил использовать в последнюю очередь, ведь одно и то же среднее или сумму можно сделать из разных токенов (вроде как), вот я и ищу другие способы
Почитал. Насколько понял это типа bag-of-words, а я то искал методы вроде text-embedding-ada-002. (Я просто не шарю за все вот эти алгоритмы ) ( понравился Doc2Vec , но я еще не допер как он работает )
Сложный
