Как обучается трансформер?

Question

[Евгений Лернер]

Пишут, что матрицы для вычисления запроса, ключа и значения получаются в процессе обучения. Как это происходит? Это обучение с учителем или без?

Comments

[freeExec]

Да, классическое обучение с обратным распространением ошибки.
Попробуй разобраться с алгоритмом word2vec, принцип там несколько похожий, обучаются сразу две матрицы, причём вторую потом выкидывают :)

[Евгений Лернер]

Какие матрицы обучаются? Их размер ,что содержится в них ? Какую выкидывают? Я знаю что там матрицы запроса,ключа,значения . Обучение с учителем? Данные размечены?

Answer 1

[i-aztec]

Посмотрите вот статью - хорошее объяснение архитектуры и работы трансформера с большим количеством картинок:

Transformer в картинках
https://habr.com/ru/articles/486358/

И вот ещё видео лекция по Self-Attention и траснформерам с пояснением тех же картинок, что в статье:

Прикладное машинное обучение 4. Self Attention. Transformer.
https://www.youtube.com/watch?v=Bg8Y5q1OiP0