Есть ли такая модель для word embedding?

Question

[moyo_pochteniye]

Здравствуйте!

Есть следующий вопрос, а даже два.

Есть ли такая модель для векторизации слов, которая при инпуте "яблоко" вернет его векторное значение и будет работать в обратном порядке, подав вектор вернет "яблоко"?

Есть ли такая модель, котороя делает все вышесказанное, но ему можно еще подать ключ языка, чтобы вернуть "яблоко" из вектора на разных языках?

Comments

[Василий Банников]

Можно взять корпус слов и для каждого слова взять ембеддинг.

Далее просто искать, к какому слову ембеддинг ближе.
Даже модель никакая не нужна.

[moyo_pochteniye]

Василий Банников, неособо понимаю на практике, как без обучения или использования модели искать слово с близким эмбеддингом к запросу?

[Василий Банников]

moyo_pochteniye, ембеддинг можно считать как точку в многомерном пространстве. "близкий" - это буквально близкий

[d'Ivan]

Для одного слова вектор будет длиной в 1. Похоже на инвертированный индекс.

[d'Ivan]

Речь случайно не о полнотекстовом поиске? Стоит почитать как работает инвертированный индекс в Apache Lucene.

[d'Ivan]

И, кстати, не понял про языки. Нельзя ли привести какой-нибудь пример, типа "Мама мыла раму"

[moyo_pochteniye]

Everything_is_not_so_bad, пример может быть следующим.

I am living in a castle
I am using a padlock

"I" = vector 1
"Living" = vector 2
"Castle" = vector 5
"Padlock" = vector 6
и т.д.

Используя эти векторы, я хочу получить слова на разных языках (в примере русский и английский, нужно больше языков).

Vector 5 = "зАмок"
Vector 6 = "замОк"

[moyo_pochteniye]

Тоесть еще раз опишу задачу.

У меня есть предложение на английском, где каждое слово имеет его семантический вес. И вот благодаря семантике, я хочу получить перевод. Использовать дословный перевод - не подходит, использовать семантический перевод предложения целиком - не подходит.

Мне нужно чтобы я мог сохранить список слов в формате списка векторов и потом уже подавать ему, на каком языке я хочу вернуть.

[I, buy, apple] == "[vector1, vector2, vector3] == [я, купить, яблоко] == [yo, compro, manzana] (Spanish) == [Eu, compro, uma, maçã] (Portugeese)

[d'Ivan]

Из написанного выше понял, что нужно сделать перевод на разных языках, но ,при этом, зная какие токены в исходном текста соответствует новым. Что-то наподобие этого?

Использовать дословный перевод - не подходит, использовать семантический перевод предложения целиком - не подходит.

Почему не подходит?

[moyo_pochteniye]

Почему не подходит?

Т.к. мне в дальнейшем нужно будет не предложение целиком, а ключевые слова. В данном случае, если я скажу "я кушать свинина", мне надо чтобы на всех языках вернул свинину как мясо, а не как свинку. А если я буду переводить целиком предложение, он мне вернет не только ключевые слова, но и все предлоги и тд

[d'Ivan]

если я буду переводить целиком предложение, он мне вернет не только ключевые слова, но и все предлоги и тд

с помощью перевода можно обеспечить корректность переноса смысла. А уже переведенное предложение можно анализировать на лексическом уровне.
Эта задача как-то связана с ресторанным/гостиничным делом, в котором нужно определить главный объект? Что-то типа "я хочу <наименование того что покушать>"?

[d'Ivan]

ИИ пишет

1. Есть ли такая модель для векторизации слов, которая при инпуте "яблоко" вернет его векторное значение и будет работать в обратном порядке, подав вектор вернет "яблоко"?

Да, есть несколько моделей для векторизации слов, которые могут выполнять эту функцию. Одними из них являются модели word2vec и GloVe. Они используют технологию подсчета частот для векторизации слов и могут работать в обоих направлениях - вектор -> слово и слово -> вектор.

2. Есть ли такая модель, которая делает все вышесказанное, но ему можно еще подать ключ языка, чтобы вернуть "яблоко" из вектора на разных языках?

Да, есть модели, которые могут выполнять эту функцию. Например, модели, основанные на технологии word-embedding, такие как FastText или spaCy, могут векторизировать слова и переводить их на различные языки с учетом семантического значения.

3. не особо понимаю на практике, как без обучения или использования модели искать слово с близким эмбеддингом к запросу?

Это можно сделать с помощью технологии поиска по векторному пространству. Например, вы можете использовать библиотеку scikit-learn в Python, которая имеет функцию поиска ближайших соседей в векторном пространстве. Это позволяет вам найти слова с близкими векторами к вашему запросу.

Пример использования семантических весов слов в предложении

Да, это можно сделать с помощью моделей, которые используют семантические веса слов, такие как WordNet или ConceptNet. Эти модели могут векторизировать слова и давать им веса, основанные на их семантическом значении. Затем вы можете использовать эти веса для перевода предложения.

Почему не подходит использование дословного или семантического перевода предложения целиком?

Это связано с тем, что в предложении могут быть слова, которые не имеют прямого отношения к переводу, такие как предлоги, союзы и другие части речи. Если вы будете переводить предложение целиком, эти слова также будут переведены, что может привести к неочевидным результатам. Поэтому лучше использовать семантические веса слов для перевода ключевых слов.

1. Есть несколько моделей, которые можно использовать для векторизации слов и их перевода на различные языки.
   
2. Модели, основанные на технологии word-embedding, такие как FastText или spaCy, могут векторизировать слова и переводить их на различные языки с учетом семантического значения.
   
3. Технология поиска по векторному пространству позволяет найти слова с близкими векторами к вашему запросу без обучения или использования модели.
   

• Используйте модели, которые используют семантические веса слов, такие как WordNet или ConceptNet, для перевода предложения.
  
• Библиотека scikit-learn в Python имеет функцию поиска ближайших соседей в векторном пространстве.
  
• Модели, основанные на технологии word-embedding, могут векторизировать слова и переводить их на различные языки с учетом семантического значения.
  

Пример использования семантических весов слов в предложении
Да, это можно сделать с помощью моделей, которые используют семантические веса слов, такие как WordNet или ConceptNet. Эти модели могут векторизировать слова и давать им веса, основанные на их семантическом значении. Затем вы можете использовать эти веса для перевода предложения.