Что такое вектор слова (как его вычислить), word embedding и как работает word2vec?

Question

[starcrawler]

Относительно простыми словами объясните, пожалуйста, что такое вектор слова, как его вычислить. Что такое word embedding, skip-gramms, как работает word2vec? Желательно с примерами.

Answer 1

[⚡ Kotobotov ⚡]

вектор - это отрезок в пространстве (определенная величина которой мы что-то измеряем в пространстве).
Если это 3х мерное пространство то это соответственно набор параметров длина, ширина, высота объекта которого мы измеряем.
Многообразие слов может быть представлено очень большим "пространством" (условно можно назвать "смысл"), и вордТуВек - работает измеряя параметры определенного слова в этом пространстве.
Для примера можно рассмотреть например - если мы ограничим пространство всех слов (смыслов), только словами с цветом - тогда у каждого нашего слова зеленый, красный, черный, синий и тд, будет размер в пространстве который бы соответствовал цветовой характеристике (например RGB, типа там [0, 0, 0] - для черного), однако пространство у нас куда более большое, чем только характеристики цвета, такое пространство может иметь тысячимерную размерность "смыслов".
самое главное что мы в итоге переводя слова в такие вектора, можем их сравнивать. находить близкие по смыслу слова и сравнивать составленные из этих слов "фигуры" в пространстве

Comments

[starcrawler]

спасибо большое !!! стало понятнее.
но как именно слово переводится в вектор, это я не понимаю

[Dimonchik]

слово в вектор не переводится, ну или переводится в вектор , где единственная ненулевая координата - само слово

в вектор переводятся n-граммы

[⚡ Kotobotov ⚡]

starcrawler, ну как я уже говорил вектор это измерение слова в пространстве "смысла"
есть разные подходы для построения пространства "смысла" и измерения слова в этом пространстве.
Один из распространенных подходов - частотный.
Например у нас есть пространство смыслов - состоящее из 5 тем (например юридичекая тематика, детская, политика, бизнес, экономика, развлечение)
у нас есть слово "Путин", мы можем посчитать частоту с которой это слово встречается в разных тематиках.
и получим следующий вектор [юридическая - 10раз, детская - 0 раз, политика - 10000 раз, бизнес 1000 раз, экономика 100 раз, развлечение - 3 раза]
это и есть вектор слова "Путин" в нашем 5мерном пространстве смыслов.
Обычно пространство смыслов может иметь более 5 тысяч мерным, и КАЖДОЕ слово может иметь в этом пространстве четкое измерение.

[starcrawler]

⚡ Kotobotov ⚡, но тогда же получается просто огромное количество значений (надеюсь, я правильно Вас понимаю?), как с этим работать?

[⚡ Kotobotov ⚡]

starcrawler, да все верно, вектор получается очень большой с тысячами элементов.
как с векторами работать - есть векторная алгебра, в целом там все очень просто.

[starcrawler]

⚡ Kotobotov ⚡, ну, в целом, картинка с вектором слова вроде как прояснилась. премного благодарю

Answer 2

[dmshar]

Вообще-то это целая технология. Ожидать объяснения в "относительно простых словах" как то даже не серьезно. Информации по теме масса - сиди, читай, разбирайся, применяй.
Вот неплохое - одно из многих - введение в тему:
https://skymind.ai/wiki/word2vec
с примерами и объяснениями "что такое" и "как работает". Если что-то конкретное станет непонятным - спрашивайте.

Comments

[starcrawler]

Благодарю за помощь.

Answer 3

[Dimonchik]

так а что именно непонятно?

Гугел же сразу подсказки дает

https://towardsdatascience.com/introduction-to-wor...
https://becominghuman.ai/how-does-word2vecs-skip-g...

Comments

[starcrawler]

Благодарю за ресурсы.