Какие виды эмбединга используется в nlp?

Question

[Евгений Лернер]

Здравствуйте! Я понял, что самый распространенный метод это подсчет слов попадающих в окно, например 10. Интересно что ещё используют
- учёт слово находится до или после, того слова для которого считают эмбединг
- учёт расстояния до слова , не факт попадания в окно
- эмбединг для пар и троек слов
- учёт расстояние до конца и начала предложения
- расстояние до знаков препинания. Точка, запятая, двоеточие ,вопросительный знак и тп
- тип предложения
- грамматическая информация о слове . Род, число, падеж, время и тп

Answer 1

[rPman]

Это какие то совсем древние технологии.

Погугли World2vec, FastText, GloVe (Global Vectors for Word Representation), ELMo (Embeddings from Language Models), Universal Sentence Encoder (USE), Graph-Based Embeddings (SynGCN)
или на основе трансформера, типа BERT (Bidirectional Encoder Representations from Transformers), Sentence-BERT

сравнение эмбендингов проводят простым евклидовым расстоянием или к примеру вычислением угла между векторами

p.s. скоро вместо 'ты что гуглить не умеешь' можно будет презрительно бросать - 'ты что с chatgpt общаться не умеешь'... мне кажется первое, чему учат все gpt ИИ сети, это технологиям работы с текстами, ИИ и т.п., так как это дает призрачную надежду что в будущем ИИ сможет улучшать себя если не полностью самостоятельно, то хотя бы частиично.

Comments

[Евгений Лернер]

Можно было бы погуглить, но я думал кто-то уже знает ответы на эти вопросы и сьэкономит мне время

[aleks-th]

Евгений Лернер, а может еще и за тебя денег заработает и тебе в карман положит ?