Что прочитать или как разобраться(грубо говоря с чего начать)?

Question

[holllop]

Я хочу найти литературу или другие источники, чтобы я мог ответить на вопросы:
1) Как нейросети ищут взаимосвязь между словами (и ищут ли вообще)?
2) Как большие языковые модели дают слову числовое значение, чтобы это был параметр (я не уверен в вопросе, я знаю, что большие языковые модели превращают любой текст в набор параметров, для обычных языковых моделей их, по-моему, получается 300. Я вот хочу понять, на основе чего или за счёт чего нейросеть превращает текст в набор параметров).

Answer 1

[Максим Припадчев]

Ищи все что связанно с transformers (архитектура deep learning).

Взаимосвязь между словами это их тема и именно она позволила создать LLM, это именно, тогда был прорыв.

Связь между словами именуется контекст. До трансформеров было например так это дополнительно зависит от архитектурного решения, что считать токеном: слово, предложение и т.д. То есть например 'Мама мыла раму', 'Мне нужно новую раму на велосипед', или что-нибудь из подвортни 'Керя ты в раму въехал'. слово 'раму' будет иметь один и тот же эмбеддинг. Так было раньше.

Трансформеры это революция они процессируют токен паралельно, и на каждом своем слое потенциально возможно обновления эмбединга слова 'раму', как и других слов. Тем самым они начали понимать контекст, иными словами эмбеддинги базируется на контексте, а не на слове.

В общем это ответ на оба вопроса. Гугли читай статьи изучай и пробуй transformers.

Comments

[rPman]

Взаимосвязь между словами - это механизм внимания (attention), это квадратная матрица, где столбцы/строки это токены контекстного окна (8к контекст значит матрица 8к на 8к), и такая таблица будет на каждом слое трансформера (там каждый слой несколько матриц и разных преобразований, к мримеру у младшей llama их 40), где значение каждой ячейки это сила взаимного влияния токена/смысла (с каждым слоем осмысленность элемента контекста становится глубже и непонятнее) относительно позиции к другому... матрица безумно огромная, ее по всякому разряжают (она почти полностью нулями заполнена) и оптимизируют, обучая маленькую а потом дообучая после увеличения контекста (ума не приложу как это происходит)

[Vitsliputsli]

Если совсем ничего не понятно, то следует начать с алгоритма k-ближайших соседей. Ну и не забывать, что это по прежнему черный ящик.

[Максим Припадчев]

Vitsliputsli,
1. При чем здесь ближайшие соседи и особенности создания эмбедингов.

2. Черными ящиками нейронные сети называют, потому что это не интерпретируемые модели. Например если моя модель простая линейная то моя формула y = ах+b б где выученные парметр a - имеет прекрасную бизнес интерпретацию понятную школьнику. А вот в случае с нейронынми сетями выученные знания модели это матрица весов, где например позицию w[2,1] не каким образом не связать с ответом нейроной сети, это просто один из коэффициентов трансформации входа в желаемый вывод, и не более того.

3. Не пиши ерунды под моими ответами.

[Vitsliputsli]

Максим Припадчев,

При чем здесь ближайшие соседи и особенности создания эмбедингов...
Не пиши ерунды под моими ответами

Ни при чем.
Испугался и убежал, чтобы не затмевать свет идущий от солнце...ого.

Answer 2

[Oliver Host]

Вам нужно смотреть статьи и материалы примерно с 2016 по 2021 года. Увы, но после "бума нейросетей" информационный фон полностью и безвозвратно засорил весь интеренет, и поиск толковой информации нужно проводить не в поисковиках, а в профильных лентах, а в тч архивных, авторов-инженеров.

Напрмер по вашем вопросу можно откопать отличную и подходящую статью у Deep Mind (одни из первых исследователей трансформеров) https://research.google/blog/transformer-a-novel-n... думаю, что это как раз то, что вы искали.

Comments

[Oliver Host]

Далее, для более узких вопросов - переходите по ветвлениям подобных материалов и материалы на которые ссылаются подобные работы.