Задать вопрос
@ehevnlem
Программирую с 1975, в интернете с 1993.

Как обучается трансформер?

Пишут, что матрицы для вычисления запроса, ключа и значения получаются в процессе обучения. Как это происходит? Это обучение с учителем или без?
  • Вопрос задан
  • 84 просмотра
Подписаться 1 Простой 2 комментария
Пригласить эксперта
Ответы на вопрос 1
@i-aztec
Посмотрите вот статью - хорошее объяснение архитектуры и работы трансформера с большим количеством картинок:

Transformer в картинках
https://habr.com/ru/articles/486358/

И вот ещё видео лекция по Self-Attention и траснформерам с пояснением тех же картинок, что в статье:

Прикладное машинное обучение 4. Self Attention. Transformer.
https://www.youtube.com/watch?v=Bg8Y5q1OiP0
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы