Задать вопрос
@ehevnlem
Программирую с 1975, в интернете с 1993.

Какие архитектуры с механизмом внимания появились после transformer?

Здравствуйте! Что ещё нового придумали?
  • Вопрос задан
  • 177 просмотров
Подписаться 2 Средний Комментировать
Помогут разобраться в теме Все курсы
  • Яндекс Практикум
    Инженер машинного обучения
    4 месяца
    Далее
  • Skillbox
    Профессия Machine Learning Engineer
    12 месяцев
    Далее
  • Stepik
    Машинное обучение: Кросс-валидация и оптимизация гиперпараметров
    2 недели
    Далее
Пригласить эксперта
Ответы на вопрос 1
2ord
@2ord
Есть архитектуры без внимания:
Mamba replaces the complex attention and MLP blocks of Transformers with a single, unified SSM block.

https://en.wikipedia.org/wiki/Mamba_(deep_learning...
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы