Как преобразовать текст (эмбеддинги) в вектор фиксированной длинны?

Question

[ermak148]

Учу уже месяц pytorch и пришел к NLP, трансформерам и т.д. Хочу сделать генератор картинок на GAN, но эмбеддинги gpt динамической длины (всмысле seq_len), а gan'у нужны данные фиксированной длинны. Спрашивал на стаковерфлоу, но там сказали бери среднее или сумму, но этот подход я решил использовать в последнюю очередь, ведь одно и то же среднее или сумму можно сделать из разных токенов (вроде как), вот я и ищу другие способы

Answer 1

[mayton2019]

Посмотри как в Spark/Databricks работает HashingTF https://spark.apache.org/docs/3.5.0/ml-features.ht...

И еще посмотри ссылки от Feature Hashing https://en.wikipedia.org/wiki/Feature_hashing

Comments

[ermak148]

Почитал. Насколько понял это типа bag-of-words, а я то искал методы вроде text-embedding-ada-002. (Я просто не шарю за все вот эти алгоритмы ) ( понравился Doc2Vec , но я еще не допер как он работает )

[mayton2019]

ermak148, читал Алису в Стране Чудес? Там Чеширский кот говорит Алисе что если ей все равно куда попасть то она может идти куда угодно.

Ты сам реши что ты хочешь от этого вектора? Вещественные величины? Булевые? Тебе важно отсуствие
коллизий? Вот и начинай дальше искать.