Как обучается трансформер?

Question

[Евгений Лернер]

Пишут, что матрицы для вычисления запроса, ключа и значения получаются в процессе обучения. Как это происходит? Это обучение с учителем или без?

Comments

[freeExec]

Да, классическое обучение с обратным распространением ошибки.
Попробуй разобраться с алгоритмом word2vec, принцип там несколько похожий, обучаются сразу две матрицы, причём вторую потом выкидывают :)

[Евгений Лернер]

Какие матрицы обучаются? Их размер ,что содержится в них ? Какую выкидывают? Я знаю что там матрицы запроса,ключа,значения . Обучение с учителем? Данные размечены?