Есть ли такая модель для word embedding?

Question

[moyo_pochteniye]

Здравствуйте!

Есть следующий вопрос, а даже два.

Есть ли такая модель для векторизации слов, которая при инпуте "яблоко" вернет его векторное значение и будет работать в обратном порядке, подав вектор вернет "яблоко"?

Есть ли такая модель, котороя делает все вышесказанное, но ему можно еще подать ключ языка, чтобы вернуть "яблоко" из вектора на разных языках?

Comments

[Василий Банников]

Можно взять корпус слов и для каждого слова взять ембеддинг.

Далее просто искать, к какому слову ембеддинг ближе.
Даже модель никакая не нужна.

[moyo_pochteniye]

Василий Банников, неособо понимаю на практике, как без обучения или использования модели искать слово с близким эмбеддингом к запросу?

[Василий Банников]

moyo_pochteniye, ембеддинг можно считать как точку в многомерном пространстве. "близкий" - это буквально близкий

[Everything_is_not_so_bad]

Для одного слова вектор будет длиной в 1. Похоже на инвертированный индекс.

[Everything_is_not_so_bad]

Речь случайно не о полнотекстовом поиске? Стоит почитать как работает инвертированный индекс в Apache Lucene.

[Everything_is_not_so_bad]

И, кстати, не понял про языки. Нельзя ли привести какой-нибудь пример, типа "Мама мыла раму"

[moyo_pochteniye]

Everything_is_not_so_bad, пример может быть следующим.

I am living in a castle
I am using a padlock

"I" = vector 1
"Living" = vector 2
"Castle" = vector 5
"Padlock" = vector 6
и т.д.

Используя эти векторы, я хочу получить слова на разных языках (в примере русский и английский, нужно больше языков).

Vector 5 = "зАмок"
Vector 6 = "замОк"

[moyo_pochteniye]

Тоесть еще раз опишу задачу.

У меня есть предложение на английском, где каждое слово имеет его семантический вес. И вот благодаря семантике, я хочу получить перевод. Использовать дословный перевод - не подходит, использовать семантический перевод предложения целиком - не подходит.

Мне нужно чтобы я мог сохранить список слов в формате списка векторов и потом уже подавать ему, на каком языке я хочу вернуть.

[I, buy, apple] == "[vector1, vector2, vector3] == [я, купить, яблоко] == [yo, compro, manzana] (Spanish) == [Eu, compro, uma, maçã] (Portugeese)

[Everything_is_not_so_bad]

Из написанного выше понял, что нужно сделать перевод на разных языках, но ,при этом, зная какие токены в исходном текста соответствует новым. Что-то наподобие этого?

Использовать дословный перевод - не подходит, использовать семантический перевод предложения целиком - не подходит.

Почему не подходит?

[moyo_pochteniye]

Почему не подходит?

Т.к. мне в дальнейшем нужно будет не предложение целиком, а ключевые слова. В данном случае, если я скажу "я кушать свинина", мне надо чтобы на всех языках вернул свинину как мясо, а не как свинку. А если я буду переводить целиком предложение, он мне вернет не только ключевые слова, но и все предлоги и тд

[Everything_is_not_so_bad]

если я буду переводить целиком предложение, он мне вернет не только ключевые слова, но и все предлоги и тд

с помощью перевода можно обеспечить корректность переноса смысла. А уже переведенное предложение можно анализировать на лексическом уровне.
Эта задача как-то связана с ресторанным/гостиничным делом, в котором нужно определить главный объект? Что-то типа "я хочу <наименование того что покушать>"?